树莓派(Raspberry Pi)推出新的人工智能相机模块(AI Camera),其搭载Sony IMX500传感器并内置人工智能加速器,可在各型号的树莓派设备上执行多种神经网络模型,提供高端形象处理能力。该人工智能相机模块与树莓派现有相机软件堆栈无缝集成,供开发者开发灵活且高效的人工智能解决方案。

新推出的人工智能相机模块搭载1200万像素的Sony IMX500传感器,像素大小为1.55微米1.55微米,在低光环境能保持良好的感光能力、动态范围和整体形象品质,并支持40563040(10fps)和2028*1520(30fps)两种传感器模式。

新人工智能相机模块水平视角为78度,支持手动对焦,适用于不同形象处理场景。而其内置的RP2040单片机则负责神经网络和固件管理,内置的16MB内存,可用于缓存最近使用的模型,进一步加快运算速度。

树莓派在今年6月的时候,先发布人工智能开发组件模块(AI Kit),该模块与现在推出的人工智能相机模块,差别在于人工智能开发组件模块更适合需要执行复杂神经网络模型的应用,并且只兼容于树莓派5。而且虽然人工智能开发组件模块性能较强,但是需要搭配外部相机模块,总成本相对较高。

相较于只支持树莓派5的人工智能开发组件模块,人工智能相机模块可与所有树莓派型号兼容,使用标准相机排线就能够连接,对于没有其他相机模块的用户来说,人工智能相机模块是更经济的选择。人工智能相机模块可执行多种神经网络模型,在上传模型时,较旧的树莓派设备需使用I2C通信协议,而在树莓派5则可使用更快的自订双线通信协议(Custom Two-Wire Protocol)。

执行过程中,内置的形象信号处理器会先把传感器拍到的原始形象,从单一颜色转换成我们常见的彩色照片,再进行剪裁和缩放等初步处理,处理后的形象便会发送到人工智能加速器执行进一步的运算。待神经网络处理完成后,输出结果会与原始形象一起被发送回树莓派主机。

人工智能相机模块适用于各种需要即时形象处理的应用,像是物体识别、姿势测量和监控系统。由于其内置人工智能加速器,因此可在低功耗下快速执行神经网络模型,减轻树莓派处理器的负担,结合树莓派相机软件堆栈,开发者便能简单部署各种智能形象应用。