Nvidia开源用于机器人训练的世界模型Cosmos-Transfer1

本周Nvidia GTC大会上展示了Blue机器人的同时，也开源训练机器人及自动驾驶汽车的多模态世界模型Cosmos-Transfer1。

Cosmos-Transfer1是Nvidia Cosmos模型的一部分。Cosmos是协助开发人员更快且更有效打造“实体AI”（Physical AI）系统的世界基础模型。而Cosmos-Transfer1则是经预训练的扩散式条件世界模型（conditional world model），可用于生成多模态、可控制的虚拟世界。它根据多种空间控制输入数据，像是分割图、深度图及边缘图（edge maps）等创建模拟，还能在不同空间位置和时间弹性为不同条件输入加入权重，以定制化生成虚拟世界。这种弹性使之方便用于自动驾驶汽车或机器人等自动系统训练的应用程序，例如Sim2Real。

Cosmos-Transfer1已在Hugging Face开源，开源的资源包含二个模型及其推论范例，Cosmos-Transfer1-7B为适应性多模态控制的世界生成模型，Cosmos-Transfer1-7B-Sample-AV为开发自动驾驶汽车专用的Cosmos-Transfer 1。二个模型都需在80GB H100硬件平台上执行。

后训练脚本程序也会很快发布。模型本身是以Nvidia Open Model授权开源，而训练脚本则是以Apache 2授权开源。