在今年CES大会主题演讲上,Nvidia首度披露自己的Agentic AI(代理型AI)新战略,还举了Agentic AI最新4种代理能力的应用场景,辅助研究、虚拟实验室模拟、软件安全辅助,以及形象分析AI代理。
AI Agent可扮演一位研究助手,帮用户阅读pdf等格式文件并以Podcast形式互动,也能化身软件安全专家,进行漏洞扫描并提供防护建议,还是研究人员的重要帮手,提供化合物设计与筛选,更像是一名专业的形象分析专家,可协助异常事件侦测与改善作业流程。
“Agentic AI的时代已经到来,成为企业工作流程中的重要环节”Nvidia首席执行官黄仁勋在演讲中强调。
近两年,GenAI(生成式AI)快速崛起,成为最红火的企业IT技术之一,随着GenAI技术越来越成熟,应用范畴更从GenAI走到Agentic AI应用。不只是GCP、Azure、AWS等云计算大厂先后提出自己的Agentic AI战略,抢攻企业端应用,AI芯片龙头Nvidia也紧跟在后,披露其Agentic AI新战略。
Agentic AI指的是一套多模型(multi-model)系统,由多种功能模型组成,处理不同任务。它能将任务拆解为一个个Task,通过数据检索、工具操作、计算机运算或GAI生成图表等,提供高品质的回应。同时,Agentic AI持续对这些模型进行迭代与优化,不断提升回应的准确性与效率。
黄仁勋指出,Agentic AI的一大特色是,将使得AI的回应不再局限于单纯的问答模式,而是依靠多个模型在背后同步运行,进行更精细的计算推理,因此,在推理过程中采用测试时间扩展(Test-time scaling) 机制,提供更高品质的回答,就很重要。“Test-time scaling的最佳实例就是Agentic AI应用。”他说。
他表示,Nvidia的Agentic AI策略, 专注于与IT领域的软件开发商合作,构建生态系统以及集成技术,协助开发者和企业实现全新的Agentic AI功能与应用。他强调,过去Nvidia的GPU依赖CUDA加速函数库来加速运算处理,未来针对AI Agent需求,Nvidia也会有AI专用函数库,架构在CUDA加速库之上,为开发者与企业提供更完整的技术支持。
Nvidia Agentic AI应用开发三层式架构
瞄准企业Agentic AI应用需求,Nvidia在今年CES大会中提出了Agentic AI应用开发三层式架构软件堆栈,协助企业快速实现应用落地,壮大Agentic AI生态系。
Nvidia的Agentic AI架构是以区块为基础,最底层是模型预训练的AI微服务NIM。NIM将GenAI执行所需的模型和软件进行优化与封装,并部署于任一环境中。这些微服务涵盖多种AI模型,例如视觉模型、语言理解模型、语音模型(用于动画)、数字生物学模型,以及最新的物理AI模型等。
再上一层是NeMo框架,类似数字员工养成的Pipeline,让Agentic AI能够担任多种工作角色,例如创作者、定制化者、评价者、守护者,以及RAG检索者,实现多样化的应用场景。
为了让Agentic AI具备特定领域的专业技能与知识,Nvidia采用类似员工培训的方式,对Agentic AI数字劳动力进行优化。经过培训的Agentic AI能代理多种工作角色,包括辅助研究助手、虚拟实验室AI、软件安全专家、形象分析师、AI销售代表、客服人员、金融分析师、员工支持以及工厂运维管理者等,满足各行业的多样需求。
举例来说,AI Agent可以扮演一位研究助手,可以帮你阅读pdf等格式文件,例如讲稿、期刊、财务报告,并产生一个互动的podcast,并进一步生成互动式Podcast,让用户能以更直观的方式学习与阅读。
软件安全专家AI Agent可为开发者提供安全防护支持,通过漏洞扫描、自动发送警示以及提供防护建议,强化整体软件安全性。虚拟实验室AI Agent成为研究人员的重要帮手,能够快速设计并筛选数十亿种化合物,大幅缩短寻找候选药物的时间。
形象分析AI代理则是基于Nvidia Metropolis蓝图 ,集成Nvidia Cosmos、Nemotron视觉语言模型、Llama Nemotron LLM和MeMo Retriever等,能快速分析摄影机的数据,每天生成高达10万TB的视频内容。Metropolis代理可以应用到不同场景,例如在工业场景中,可以用来监测作业流程并提供改善建议,同时从数据中侦测异常情况,调整工作者或机器的路线,协助避免意外事件的发生,提升生产效率与安全性。
Nvidia提出Agentic AI最后一层是数字AI代理人蓝图,Nvidia提供多种开放源码蓝图,开发者可直接修改与扩展,用于构建特定领域的AI代理应用。在该蓝图中提供开发人员各种代理AI构建模块,包括CrewAI、Daily、LangChain、LlamaIndex和Weights & Biases等,协助其创建下一代Agentic AI应用。
除了合作伙伴蓝图之外,Nvidia还推出了自己的全新AI蓝图,例如可将PDF转换为Podcast,以及用于创建视频搜索和摘要的AI代理程序。另外还有四款Omniverse蓝图,让开发人员可以更容易创建用于模拟的数字孪生应用。
Nvidia发布了一系列基于LLaMA微调的Nvidia LLaMA neotron语言基础模型家族 ,提供Nano、Super 、Ultra三种不同模型,对应到不同任务,例如Nano模型兼具成本效益和更快反应速度,可用于PC或边缘设备,还有具备更高准确度和运算效率的Super模型,以及Ultra模型,用来执行数据中心规模的AI应用。
黄仁勋表示,企业AI代理将成为AI工厂的核心驱动力,这些工厂将通过生成Token,为各行各业带来前所未有的智慧化与生产力提升。
企业IT部门将转型为类似Agentic AI的HR部门
黄仁勋特别看好Agentic AI在软件行业的应用,并认为下一个人工智能服务的重要时刻将是软件,这是所有开发者都需要的基础。他甚至预测,Agentic AI有潜力成为下一个机器人产业的关键应用,创造兆亿美元的商机。
不仅仅是应用在软件行业,随着AI Agent应用逐渐成熟,也将影响企业内部IT的运行模式。黄仁勋表示:“企业IT部门将转型为类似Agentic AI的HR部门。”他进一步解释,过去IT部门主要负责管理和维护大量来自IT行业的软件,而未来的重点将转向维护、培养和优化数字代理,并将它们应用于企业内部,提升运营效率。
更进一步,黄仁勋指出,Agentic AI的下一步是迈向物理AI(physical AI),他介绍了Nvidia的全新平台Cosmos,这是一个专为物理AI开发而设计的平台,利用一系列世界基础模型(World Foundational Models, WFM)来进行模拟和预测物理互动。
黄仁勋表示,这些模型不仅让人工智能能够处理感官数据,还能做出行动决策,帮助开发者打造下一代机器人和自动驾驶汽车,加速推动物理AI的应用发展。