随着智能网卡(SmartNIC)的推出,人们可以享受到传统网卡所没有的可程序化能力,并打开直接在网卡上进行数据运算与传输的新纪元。如今MIT麻省理工学院的研究团队开发出名为“闪电”(Lightning)的混合式运算平台,该平台其实是一片具备可重组态架构的光电混合智能网卡,堪称是当前第一个能即时处理机器学习推论请求的光子运算系统。

采用可重组态的“计数─操作抽象化”,完美结合光子速度与电子数据流控制能力

一般而言,电子组件可以通过内存或指令来控制数据流,但光子运算系统却无法办到。对此,MIC新开发的“闪电”智能网卡克服了这个障碍。该研究团队通过可重组态的“计数─操作抽象化”(count-action abstraction)让系统得以关注每个推论封包,并创建了能将封包从该网卡顺场地馈送到光子域名的快速数据路径。

总而言之,“计数─操作抽象化”能将电子和光子连接起来,其中,电子携带的资讯被转换成以光速运行的光子,以协助完成推论任务。接下来,光子再被转换成电子,以便将资讯发送至计算机。

MIT研究团队指出,光子运算特别擅长处理矩阵乘法(matrix multiplication)等大量线性计算的任务,但在面对其他任务时,就可能需要借助电子的协助。如此一来便会产生大量数据,需要在光子组件和电子组件之间进行交换,以完成机器学习推论请求等任务。该研究团队强调,通过光子速度与电子数据流控制能力的两相结合,“闪电”智能网卡能以高达100Gbit/s的速度即时处理深度神经网络的推论请求。

远胜GPU、DPU、SmatNIC和先进加速器的能效表现

研究人员表示,长久以来,人们即使拥有一台超高速的光子计算机,但若没有足够的数据,它将不再进行任何合理的运算甚至暂停运行,这也使得光子和电子之间的数据流控制成为过去最先进光子运算作业的致命弱点。面对这样的问题,过去的解决之道就是采取所谓的“走走停停”(stop-and-go)的方法来减慢数据流。

但这种做法就像是一个从未开过超跑的人,一边拿着使用手册一边走走停停地开车一样。对于超跑老手而言,所有驾驶操作的记忆全都深植肌肉DNA,通过这样的肌肉记忆,才能顺畅自如地将超跑的性能发挥极致。

研究人员表示,MIT所开发“闪电”平台中的“计数-操作抽象化”就等同该平台中的肌肉记忆,能无缝地驱动系统中的电子和光子。全新“闪电”平台所使用的光子比电子移动得更快,而且产生的热量也更少,这使得该平台能以超越非混合式计算机更快的频率和性能运行。

研究人员甚至将“闪电”这个新型智能网卡与标准GPU、数据处理器(DPU)、“传统”智能网卡和其他加速器进行了一场能源效率大比拼,结果证明“闪电”平台在完成推论请求时的能效表现最佳。即使与当前最先进的加速器相比,“闪电”不但加快了机器学习推论的回应速度,在功耗上更降低了好几个数量级。不仅如此,在进行系统性能的评估中,“闪电”原型展示了以99.25%的精准度执行8位元光子乘法累加运算的可行性。

(首图来源:MIT)