首页 > 科技要闻 > 科技> 正文

王炸级3nm安卓AI芯片发布:生成视频不用联网,智能体帮你点外卖订酒店

量子位 整合编辑:太平洋科技 发布于:2024-10-20 18:38

安卓首款3nm、PC级Arm V9架构、第八代NPU——天玑9400,成为了移动AI芯片的最新最强成果!

相比上一代生成式AI芯片天玑9300,其AI能力更上一层楼,荣登苏黎世ETHZ移动SoC AI性能榜单之首。

天玑9400首次实现了端侧DiT架构支持,无需联网就能在手机上体验Sora同款架构视频生成。

还有业界首发的端侧LoRA训练,可以高效离线训练专属于自己的LoRA生图模型,同时保证隐私不泄露。

大模型方面,天玑9400能够运行的模型窗口文本长度提升到了32K,是天玑9300的8倍。

同时还支持端侧运行多模态大模型,并以50 Tokens每秒的超高速度超越了前SOTA。

综合AI性能方面,天玑9400以6773分的成绩领跑了苏黎世ETHZ移动SoC榜单,是天玑9300的1.4倍。

而从整体上看,天玑9400采用台积电第二代3nm制程,相较上一代单核性能提升35%,多核性能提升28%,同性能功耗降低40%……

此外,联发科这次不仅把端侧AI能力用在了模型运行上,更是集成了天玑AI智能体化引擎(Dimensity Agentic AI Engine)。可以根据你的需求实现跨应用操作,而且会记忆你的各种习惯,让手机越用越聪明、越用越好用。

天玑9400,让AI手机越用越聪明

先来看看联发科通过天玑9400为我们带来的一系列端侧AI新功能。

首先,联发科与小红书合作,首发了端侧SDXL生图功能。

不仅各种风格都能驾驭,关键是整体速度比云端生成还要快两倍。

而且在Diffusion模型端侧化这条路上,联发科还迈出了更大一步,将视频生成模型也带到了端侧。

这项技术同样是业界首发,实现了从静态图像到视频的大跨越

实际体验下来,只用不到一分半,一段视频就生成完成,如果放到云端……恐怕是连队都还没排到。

相比之下,端侧的算力虽不如云,但胜在专属于用户个人,不需要和海量用户争抢。

另一个优势便是,所有数据都在本地储存和处理,隐私安全更有保障。

说到这里,就要隆重介绍下天玑9400首发的端侧LoRA训练功能——只要有照片,就能训练出专属于自己的本地LoRA模型。

利用训练出的模型,可以生成任意姿态、任意背景的个人写真,足不出户拍遍全世界。

还有联合虹软推出的端侧AI智能修图功能,通过在端侧学习到的用户人脸信息,可以对模糊的照片智能修复。

相比于传统的智能超分等处理方式,不仅更清晰,而且能够保留面部细节,处理出的照片更加自然。

除了一系列重磅功能的首发,天玑9400也打破了多项业界纪录,比如它的端侧多模态模型运算速度达到了50Tokens每秒。

利用面壁智能推出的小钢炮模型,可以快速识别二元一次方程组图像并做出解答。

同时还能理解图片中文字的对应关系,秒速读懂外文菜单,推荐菜品并直接算好价格。

当然整体AI性能也经得起检验,在权威的苏黎世ETHZ AI Benchmark 6.0榜单中以6773分的总成绩排名第一

该榜单涵盖了不同类型的34款模型,同时包括int8、int16、fp16等多种,涉及速度和准确性等多种指标,是对AI能力的全面评估。

兼容适配上,联发科也已经与国内外的9家大模型厂商达成合作,支持了一系列的主流大模型。

在强大的端侧AI算力支持下,联发科提出了“智能体AI手机”的新概念,让移动终端变得更智慧。

天玑9400中内置的AI智能体化引擎(Dimensity Agentic AI Engine ),能够将AI模型和应用变成一个个智能体,让手机变成一个强大的“后援军团”。

以点外卖这个场景为例,普通的AI助手最多不过是能够帮助我们打开外卖软件,但智能体化之后,可以全程通过语音交流,完成从选择餐点到完成支付的整个过程。

请看VCR:

基于通义千问大模型驱动的智能体,现已经支持了多款智能体化应用。

而且随着使用过程的深入,智能体会记住你的习惯偏好,变得越来越聪明、越来越懂你、越来越好用。

比如根据你的喜好推荐电影,然后根据之前的购票习惯,不用多做解释就能帮你选好习惯的位置。

当然要实现这样的效果,除了联发科自身提供的算力,也离不开生态的支持,从芯片到终端,从模型到应用都必须全面发力。

为此,联发科联合vivo、OPPO等多家厂商共同发起了AI智能体化引擎先锋计划,一同让智能体应用生态变得更完整丰富。

另一方面,联发科也在积极与开发者合作,为AI智能体、第三方应用程序和大模型之间提供统一的标准接口,实现AI跨应用串联。

这不仅能够缩短AI产品的开发周期,更有利于加速构建应用更丰富、体验更出色的AI生态。

伴随着算力专属、隐私保障、无网络运行等需求,发展端侧AI已逐渐成为新的共识。

其中,AI手机是端侧AI的终极载体,无论是设备保有量还是使用时长,均多于PC产品。

从手机AI科技树的角度,联发科是当之无愧的强者,今天的天玑9400将加速手机的智能体化,借助先进的AI技术和生态,丰富和提升人们的生活。

在这背后,必然离不开强大技术的支撑。

软硬件技术协同发力

在技术上,联发科在软硬件两方面同时进行研发,让软硬件共同配合,实现了端侧AI的新跨越。

例如,庞大的内存占用是AI模型端侧化的一个重要瓶颈,为此,联发科采取了低位宽KV缓存技术,同时结合分组查询注意力(GQA)极致 ,降低了50%的内存需求。

此外,天玑9400不仅搭载了联发科第八代AI处理器——NPU 890,还将模型的运算工作全部放入NPU中,用更适合AI运算特点的NPU来加速运算,具体来说有一系列举措:

将专家路由等模块全部转移至NPU,实现了端侧混合专家(MoE)模型的纯NPU运算;

对于DiT(类Sora)模型,针对4D、5D的张量,利用NPU硬件独特的时域神经元硬件指令进行加速;

对于端侧LoRA训练,采用了新的反向传播算子指令集,将过去C/GPU上的指令,融入到了NPU能够支持的加速指令中……

联发科技,作前沿科技的推动者

所以归结起来,联发科技的新技术和新产品,究竟在带来什么呢?

这个问题可以从多个层面来回答。

首先对于终端用户,是更低门槛的AI普惠

越来越多的AI能力被带进端侧,意味着手机用户不用在浩如烟海的云服务中挑的眼花缭乱,直接在本地就能体验到丰富多彩的AI应用。

另一方面,联发科天玑9400主导的智能体化应用方式铺展开来,AI应用的使用也将进一步下沉。

同时还会带动智能手机的使用门槛进一步降低,让因种种原因不会操纵手机的老年人等群体,在电子信息时代避免“掉队”。

第二,是给方兴未艾的大模型继续灌注强心剂

大模型的前期投入耗资巨大,而开发者想要收回成本,用户规模是一大必然要素。

而联发科技凭借终端保有量的优势,加上模型使用的便捷化,无疑为大模型带来了更多的应用场景。

当然,对于终端厂商以及联发科自身,新的功能也是获得用户关于端侧AI反馈的重要途径。

随着越来越多AI概念的产品化、落地化,用户对AI产品的期望,以及对其不足的认识,都变得更加具体,能够更有针对性地反馈出改进意见。

总之,这一系列举措将有望串联起更完整、更宏大的端侧生成式AI生态,让芯片厂商、终端厂商、应用开发者和用户共同从中汲取收益,通过相互促进实现产业的共同繁荣。

去年,联发科技首款端侧生成式AI芯片天玑9300正式亮相,已让更多的人感受到端侧特别是手机上的AI开始变得触手可及。

半年后,天玑9300的升级版9300+又与人们见面,端侧AI的战场变得更加热闹,模型和应用侧也有越来越多的从业者开始关注终端市场。

天玑开发者大会上,联发科在芯片、模型及应用等层面与开发者、合作伙伴共同探索端侧技术路线,进一步筑起了端侧的生态基建。

如今的天玑9400又成为了新的王者级5G智能体AI芯片,并将端侧智能从基础的大模型嵌入,带到了智能体化这一新的高度,在“智能”与“智慧”之间,画出了一道新的分水岭

PS:首批采用天玑9400芯片的智能手机即将上市,届时可以通过这些设备体验到天玑9400更强大的端侧AI能力。

AI终端,终端AI,AI即将触手可及,无处不在

本文来源:量子位

量子位

网友评论

聚超值•精选

推荐 手机 笔记本 影像 硬件 家居 商用 企业 出行 未来
二维码 回到顶部