英伟达(Nvidia)于12月1日在加州圣地亚哥的NeurIPS AI大会上宣布一系列新开放AI模型和工具,旨在加速自动驾驶和物理AI的研究。这次发布的重点是Alpamayo-R1,这是一个专为自动驾驶研究设计的开放推理视觉语言模型,Nvidia声称这是全球首个此类模型。

Alpamayo-R1结合了推理和路径规划的能力,能够同时处理视觉和文本数据,使车辆能在复杂的驾驶场景中做出类似人类的细致决策。该模型基于Nvidia的Cosmos Reason框架,该框架于今年1月首次推出,并随后扩展了其他模型和数据集。

这个VLA模型使自动驾驶车辆能够在面对挑战性情况时进行推理,例如在行人密集的路口导航、应对车道封闭或处理双排停车的情况。Alpamayo-R1旨在通过分析每个场景并考虑所有可能的路径,赋予车辆达到四级自动驾驶所需的“常识”。

Nvidia已将Alpamayo-R1上传至GitHub和Hugging Face等开源平台,以促进研究人员和开发者的广泛采用和合作。除了模型外,Nvidia还发布了Cosmos Cookbook,这是一套全面的逐步指南、推理资源和后训练工作流程,帮助开发者根据特定用例调整模型。

这些公告是Nvidia推进物理AI更大计划的一部分,该计划包括能感知和与现实世界互动的机器人和自动系统。Nvidia的联合创始人兼首席执行官黄仁勋强调,下一波AI的浪潮是物理AI,该公司正在大力投资于支持这一转变所需的基础设施和工具。

此外,Nvidia还宣布与Synopsys创建战略合作伙伴关系,旨在通过加速计算和数字孪生物科技术来革新工程和设计。这个合作将利用Nvidia的CUDA加速计算、代理AI和Omniverse数字孪生物科技术,以前所未有的速度和规模进行模拟。

这些新模型和工具现已向全球的研究人员和开发者开放,目标是推进自动驾驶和物理AI的发展。通过提供对这些尖端技术的开放访问,Nvidia旨在促进行业内的创新和合作。

(首图来源:英伟达)