联想发布端侧AI新技术:PC本地推理能力直逼云端大模型

【CNMO科技消息】5月7日,联想创新科技大会正式召开,大会以“让AI成为创新生产力”为主题,围绕混合式人工智能,从个人到企业,全方位呈现了联想的创新技术成果。

会上,联想首次提出“超级智能体”概念,并明确其三大核心功能,即感知与交互、认知与决策、自主与演进。同时,联想正式发布“联想天禧”个人超级智能体和“联想乐享”企业超级智能体。

值得关注的是,联想展示了在端侧算力领域的最新突破——“联想推理加速引擎”。该引擎由联想、清华大学及无问芯穹联合研发,是专为高效AI PC推理打造的软硬件协同优化平台。通过它,普通PC的本地推理能力可媲美OpenAI去年发布的o1-mini云端模型。

“联想推理加速引擎”运用高性能并行解码、算子融合优化及异构计算技术,在多种应用场景下大幅提升推理速度,同时显著降低功耗和内存占用。与大模型推理芯片结合后,硬件加速与软件优化无缝协作,性能提升形成叠加效应。

为直观展现该引擎实力,联想创新科技大会现场进行了“竞速赛”。三台配置相同的AI PC同时解答2024年高考数学压轴题,初代大模型耗时27秒且答案0分,二代大模型耗时26秒获满分,而搭载“联想推理加速引擎”的二代大模型仅耗时13秒便获满分。这表明,模型能力提升与“联想推理加速引擎”的算力优化,使设备预填充更快、解码速度更高、推理时间更短,内存占用和能耗更低,AI能力大幅提升。