将计算资源部署在边缘和终端并不少见，目的是提升指令响应速度、节省带宽资源、提高数据安全与隐私性等。并且随着大模型与多模态AI的快速发展，边缘与端侧AI处理需求快速增长，边缘AI同时迎来在性能、功耗、能效、成本等方面的挑战。

近日，Arm宣布推出第三代面向边缘AI的NPU产品Arm Ethos-U85 NPU，同时推出了能为语音、音频和视觉等边缘AI应用提供支持的全新物联网参考设计平台Arm Corstone-320，再次扩大了软硬件协同的边缘AI产品与服务矩阵。

其中Ethos-U85与上一代产品相比性能提升了四倍，能效提升了20%，可在主流网络上实现高达85%的利用率，可满足工厂自动化和商用或智能家居摄像头等物联网应用不断攀升的性能需求。

Arm Corstone-320物联网参考设计平台则结合了领先的嵌入式IP、软件、工具和支持，以预先集成、以预先验证的模式，为合作伙伴缩短用于边缘智能芯片的开发时间且降低开发复杂度和开发成本，加快产品上市。

“软硬件必须协同工作才能释放AI处理的最大潜能。Arm不仅仅聚焦我们的处理器IP，更是在软件与工具链方面加强投资，确保我们领先于行业，以满足更简单、快速的高性能边缘AI系统的开发需求，支持诸多AI算子与应用在Arm计算平台上的优化运行，使边缘AI在Arm平台上枝繁叶茂。”Arm物联网事业部业务拓展副总裁马健（Chloe Ma）在媒体沟通会上表示。

Ethos-U85关键特性是释放大模型和多模态AI在边缘部署的巨大潜力

近年来生成式AI大模型的快速发展与Transformer深度神经网络的出现有极大关系。与上一代CNN、RNN架构相比，Transformer将模型参数提升到了几十亿、几百亿甚至上千亿，模型的复杂程度和学习能力快速提高，尤其在机器翻译、自然语言理解、语音识别、图像字幕生成等AI任务中有优异表现。

相比Arm Ethos-U系列前代产品甚至是行业中很多边缘AI加速器，Ethos-U85的关键特性之一正是在支持CNN和RNN基础上，增加了对Transformer架构的支持。

尤其因为资源受限，大模型往往需要变成相对小的模型才更适合部署在边缘设备。基于Transformer的大模型可以被调整和压缩，支持在不过多影响准确度的情况下，高效运行于边缘设备上。

Ethos-U85的主要特性包括：

• 单周期支持从128到2048个MAC单元的配置——在1GHz时，算力可支持从256GOPS到4TOPS。

• 支持int8权重和int8或int16激活。

• 支持Transformer架构网络，以及CNN和RNN。

• 支持TensorFlow Lite和PyTorch等AI框架。

• 硬件原生支持2/4稀疏性，使吞吐量翻倍。

• 内部SRAM为29至267KB，多达六个128位AXI5接口。

• 支持权重压缩，采用标准和快速权重编码器。

• 支持扩展压缩。

除了计算能力大幅提升，大模型和生成式AI另一大优势是对多模态的支持。例如一些智能家居应用需求已经从单一模型支持不同的传感器，升级到统一模型支持不同的多模态传感器输入。多模态AI就像家庭大脑，可以更安全、更智能地营造个性化家庭居住体验，而这也对AI算力提出更高要求。

至于Ethos-U85适用的场合，既包括需要AI加速的低功耗MCU系统如智能家居、零售、工业等新兴边缘AI应用场景，也包括高性能边缘计算系统如工业机器视觉、边缘网关、可穿戴设备、消费类机器人等。具体在执行更高性能设备的边缘推理需求时，Arm在设计Ethos-U85之初就考虑了将其与领先的Armv9 Cortex-A CPU相结合，以加速处理机器学习任务。

Corstone-320提供安全可靠的软硬件组合以加快产品上市

在硬件IP方面，Corstone-320集成了Cortex-M系列最高性能的嵌入式处理器Cortex-M85（满足视觉应用的能效、性能、安全等需求），以及全新的Ethos-U85 NPU AI加速器，还结合了Arm Mali-C55 ISP，确保实现视觉应用图像处理和能效需求。

在软件方面，Corstone-320集成了固件、所有IP的驱动程序、中间件、实时操作系统和云集成、ML模型和参考应用程序，有效帮助软件开发者选择其特定细分市场所需的组件和工具构建物联网堆栈。软件中还包含了固定虚拟平台（FVP），用于对构成完整FPGA系统的外设进行建模。通过使用FVP，软件开发者无需硬件即可开始开发应用，从而加快开发速度。

总的来说，新推出的Ethos-U85和Corstone-320参考设计平台满足了语音、音频和视觉边缘AI应用更高计算性能的需求，同时沿用了Arm软件与AI开发者熟知的工具链，具有投资复用、上手容易等优势，能够加速整个物联网生态实现AI和ML的转型。

基于 Arm技术的物联网ML/AI芯片及解决方案持续扩展

Arm在ML和AI生态方面始终有持续投入。

2019年，Arm开始在Armv8.1-M架构中增加Helium矢量扩展技术，至今Cortex-M52、Cortex-M55和Cortex-M85都已引入Helium技术，使嵌入式和IoT开发者可以继续基于Cortex-M设计ML和AI芯片解决方案。

Arm迄今推出的专用AI加速器包括Ethos-U55、Ethos-U65、Ethos-U85，

以进一步适应边缘AI和嵌入式AI的市场需求。包括恩智浦半导体的i.MX系列、英飞凌的PSoC Edge和Alif Semiconductor的Ensemble系列等，都搭载了Ethos-U55和Ethos-U65AI微加速器。AlifSemiconductor和英飞凌更是全新ArmEthos-U85NPU的早期采用者。

Arm也发布了多种物联网参考设计，比如Corstone-300、Corstone-310、Corstone-1000及最新的Corstone-320。这些参考设计不仅包括了Arm或集成了合作伙伴IP的子系统，还包括必要的ML工具链及适用目标用例的AI模型。

对于未来AI产品及应用的发展方向，Arm认为“大小模型云边端结合”将是重要趋势。尤其边缘部署大模型和生成式AI用例指日可待，Arm也已经为此做好准备，来挑战物联网与大模型/多模态AI结合的成本、性能与效率极限！这想必也符合物联网产业对大模型与生成式AI应用最实际的期待。