看准边缘端的AI运算需求,Arm发布首款Armv9架构边缘AI运算平台,集成CPU与NPU功能,强调可支持超过10亿参数的边缘端AI模型,预期将进一步带动AI应用从云计算及数据中心向边缘运算发展。

Arm指出,如今AI发展不再只限于云计算,随着物联网的智慧化发展提升,从智慧城市到工业自动化,在边缘端处理AI工作负载将带来优势,也有其必要性,首款Armv9边缘AI运算平台,代表该发展进入重要的里程碑。

随着物联网发展越来越普及,也带动运算需求的增加,Arm以自动驾驶汽车为例,在工厂的环境下自动驾驶汽车如何精准导航,或是利用AI创建更自然的人机互动体验。Arm指出,AI向边缘端发展,更接近数据源,可降低延迟,并且提升隐私保护。

这款专门定位于边缘AI运算需求设计的Armv9架构运算平台,内部集成号称全新的Cortex-A320 CPU,以及Ethos-U85 NPU,其中的Ethos-U85 NPU支持Transformer运算符网络,使得这款定位于边缘AI运算需求的Armv9运算平台,要比去年推出基于Cortex-M85的边缘AI运算平台,机器学习性能高出8倍。

如果单看CPU,Arm指出,Cortex-A320能够提高物联网的性能、效率及安全性,支持Armv9架构的AI功能及软件支持,比前一代的Cortex-A35,在机器学习方面的性能提升10倍,纯量性能则提高3成。

至于随着物联网普及,而受到重视的物联网设备安全性方面,新平台则将Armv9.2架构的安全功能带到小型化的Cortex-A设备,例如PAC指标验证、MTE内存标签扩展等等。

Arm称新平台将Armv9架构技术,从云计算扩大到边缘端,涵盖不同类型的设备,包括从强调高性能设计的设备,到有限电源下需要延长使用时间的高能效设备。

另外,针对边缘端的AI应用开发,Arm也将针对AI框架的开发工具Arm Kleidi,专门优化Arm CPU的AI及ML负载,Arm以物联网AI框架Llama.cpp执行微软Tiny Stories数据集为例,Kleidi为Cortex-A320提升7成的性能。