首页 > 科技要闻 > 科技> 正文

王炸级3nm安卓AI芯片发布：生成视频不用联网，智能体帮你点外卖订酒店

量子位 整合编辑：太平洋科技 发布于：2024-10-20 18:38

安卓首款3nm、PC级Arm V9架构、第八代NPU——天玑9400，成为了移动AI芯片的最新最强成果！

相比上一代生成式AI芯片天玑9300，其AI能力更上一层楼，荣登苏黎世ETHZ移动SoC AI性能榜单之首。

天玑9400首次实现了端侧DiT架构支持，无需联网就能在手机上体验Sora同款架构视频生成。

还有业界首发的端侧LoRA训练，可以高效离线训练专属于自己的LoRA生图模型，同时保证隐私不泄露。

大模型方面，天玑9400能够运行的模型窗口文本长度提升到了32K，是天玑9300的8倍。

同时还支持端侧运行多模态大模型，并以50 Tokens每秒的超高速度超越了前SOTA。

综合AI性能方面，天玑9400以6773分的成绩领跑了苏黎世ETHZ移动SoC榜单，是天玑9300的1.4倍。

而从整体上看，天玑9400采用台积电第二代3nm制程，相较上一代单核性能提升35%，多核性能提升28%，同性能功耗降低40%……

此外，联发科这次不仅把端侧AI能力用在了模型运行上，更是集成了天玑AI智能体化引擎（Dimensity Agentic AI Engine）。可以根据你的需求实现跨应用操作，而且会记忆你的各种习惯，让手机越用越聪明、越用越好用。

天玑9400，让AI手机越用越聪明

先来看看联发科通过天玑9400为我们带来的一系列端侧AI新功能。

首先，联发科与小红书合作，首发了端侧SDXL生图功能。

不仅各种风格都能驾驭，关键是整体速度比云端生成还要快两倍。

而且在Diffusion模型端侧化这条路上，联发科还迈出了更大一步，将视频生成模型也带到了端侧。

这项技术同样是业界首发，实现了从静态图像到视频的大跨越。

实际体验下来，只用不到一分半，一段视频就生成完成，如果放到云端……恐怕是连队都还没排到。

相比之下，端侧的算力虽不如云，但胜在专属于用户个人，不需要和海量用户争抢。

另一个优势便是，所有数据都在本地储存和处理，隐私安全更有保障。

说到这里，就要隆重介绍下天玑9400首发的端侧LoRA训练功能——只要有照片，就能训练出专属于自己的本地LoRA模型。

利用训练出的模型，可以生成任意姿态、任意背景的个人写真，足不出户拍遍全世界。

还有联合虹软推出的端侧AI智能修图功能，通过在端侧学习到的用户人脸信息，可以对模糊的照片智能修复。

相比于传统的智能超分等处理方式，不仅更清晰，而且能够保留面部细节，处理出的照片更加自然。

除了一系列重磅功能的首发，天玑9400也打破了多项业界纪录，比如它的端侧多模态模型运算速度达到了50Tokens每秒。

利用面壁智能推出的小钢炮模型，可以快速识别二元一次方程组图像并做出解答。

同时还能理解图片中文字的对应关系，秒速读懂外文菜单，推荐菜品并直接算好价格。

当然整体AI性能也经得起检验，在权威的苏黎世ETHZ AI Benchmark 6.0榜单中以6773分的总成绩排名第一。

该榜单涵盖了不同类型的34款模型，同时包括int8、int16、fp16等多种，涉及速度和准确性等多种指标，是对AI能力的全面评估。

兼容适配上，联发科也已经与国内外的9家大模型厂商达成合作，支持了一系列的主流大模型。

在强大的端侧AI算力支持下，联发科提出了“智能体AI手机”的新概念，让移动终端变得更智慧。

天玑9400中内置的AI智能体化引擎（Dimensity Agentic AI Engine ），能够将AI模型和应用变成一个个智能体，让手机变成一个强大的“后援军团”。

以点外卖这个场景为例，普通的AI助手最多不过是能够帮助我们打开外卖软件，但智能体化之后，可以全程通过语音交流，完成从选择餐点到完成支付的整个过程。

请看VCR：

基于通义千问大模型驱动的智能体，现已经支持了多款智能体化应用。

而且随着使用过程的深入，智能体会记住你的习惯偏好，变得越来越聪明、越来越懂你、越来越好用。

比如根据你的喜好推荐电影，然后根据之前的购票习惯，不用多做解释就能帮你选好习惯的位置。

当然要实现这样的效果，除了联发科自身提供的算力，也离不开生态的支持，从芯片到终端，从模型到应用都必须全面发力。

为此，联发科联合vivo、OPPO等多家厂商共同发起了AI智能体化引擎先锋计划，一同让智能体应用生态变得更完整丰富。

另一方面，联发科也在积极与开发者合作，为AI智能体、第三方应用程序和大模型之间提供统一的标准接口，实现AI跨应用串联。

这不仅能够缩短AI产品的开发周期，更有利于加速构建应用更丰富、体验更出色的AI生态。

伴随着算力专属、隐私保障、无网络运行等需求，发展端侧AI已逐渐成为新的共识。

其中，AI手机是端侧AI的终极载体，无论是设备保有量还是使用时长，均多于PC产品。

从手机AI科技树的角度，联发科是当之无愧的强者，今天的天玑9400将加速手机的智能体化，借助先进的AI技术和生态，丰富和提升人们的生活。

在这背后，必然离不开强大技术的支撑。

软硬件技术协同发力

在技术上，联发科在软硬件两方面同时进行研发，让软硬件共同配合，实现了端侧AI的新跨越。

例如，庞大的内存占用是AI模型端侧化的一个重要瓶颈，为此，联发科采取了低位宽KV缓存技术，同时结合分组查询注意力（GQA）极致 ，降低了50%的内存需求。

此外，天玑9400不仅搭载了联发科第八代AI处理器——NPU 890，还将模型的运算工作全部放入NPU中，用更适合AI运算特点的NPU来加速运算，具体来说有一系列举措：

将专家路由等模块全部转移至NPU，实现了端侧混合专家（MoE）模型的纯NPU运算；

对于DiT（类Sora）模型，针对4D、5D的张量，利用NPU硬件独特的时域神经元硬件指令进行加速；

对于端侧LoRA训练，采用了新的反向传播算子指令集，将过去C/GPU上的指令，融入到了NPU能够支持的加速指令中……

联发科技，作前沿科技的推动者

所以归结起来，联发科技的新技术和新产品，究竟在带来什么呢？

这个问题可以从多个层面来回答。

首先对于终端用户，是更低门槛的AI普惠。

越来越多的AI能力被带进端侧，意味着手机用户不用在浩如烟海的云服务中挑的眼花缭乱，直接在本地就能体验到丰富多彩的AI应用。

另一方面，联发科天玑9400主导的智能体化应用方式铺展开来，AI应用的使用也将进一步下沉。

同时还会带动智能手机的使用门槛进一步降低，让因种种原因不会操纵手机的老年人等群体，在电子信息时代避免“掉队”。

第二，是给方兴未艾的大模型继续灌注强心剂。

大模型的前期投入耗资巨大，而开发者想要收回成本，用户规模是一大必然要素。

而联发科技凭借终端保有量的优势，加上模型使用的便捷化，无疑为大模型带来了更多的应用场景。

当然，对于终端厂商以及联发科自身，新的功能也是获得用户关于端侧AI反馈的重要途径。

随着越来越多AI概念的产品化、落地化，用户对AI产品的期望，以及对其不足的认识，都变得更加具体，能够更有针对性地反馈出改进意见。

总之，这一系列举措将有望串联起更完整、更宏大的端侧生成式AI生态，让芯片厂商、终端厂商、应用开发者和用户共同从中汲取收益，通过相互促进实现产业的共同繁荣。

去年，联发科技首款端侧生成式AI芯片天玑9300正式亮相，已让更多的人感受到端侧特别是手机上的AI开始变得触手可及。

半年后，天玑9300的升级版9300+又与人们见面，端侧AI的战场变得更加热闹，模型和应用侧也有越来越多的从业者开始关注终端市场。

天玑开发者大会上，联发科在芯片、模型及应用等层面与开发者、合作伙伴共同探索端侧技术路线，进一步筑起了端侧的生态基建。

如今的天玑9400又成为了新的王者级5G智能体AI芯片，并将端侧智能从基础的大模型嵌入，带到了智能体化这一新的高度，在“智能”与“智慧”之间，画出了一道新的分水岭。

PS：首批采用天玑9400芯片的智能手机即将上市，届时可以通过这些设备体验到天玑9400更强大的端侧AI能力。

AI终端，终端AI，AI即将触手可及，无处不在。

本文来源：量子位
天玑9400    端侧AI    移动SoC
量子位

网友评论

聚超值•精选

更多>
推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部