Red Hat推出Red Hat AI 3，助力生产环境AI工作负载实现分布式推论

开放源码软件解决方案供应商Red Hat今日宣布推出Red Hat AI 3，这是Red Hat企业级AI平台的一大跃进。此平台集成Red Hat AI Inference Server、Red Hat Enterprise Linux AI (RHEL AI) 与Red Hat OpenShift AI的最创业公司新，不仅简化大规模高性能AI推论的复杂流程，更赋能企业将工作负载从概念验证 (PoC) 更顺畅地推向生产环境，同时改善AI驱动应用程序的协作。

企业在将AI从实验阶段推向实际应用时，常面临数据隐私、成本管控及多样化模型管理等挑战。根据麻省理工学院NANDA计划的《The GenAI Divide: State of AI in Business》报告指出，尽管企业投资金额高达400亿美元，仍有约95%的企业未能从生产环境AI中获得可衡量的财务报酬。

为应对上述挑战，Red Hat推出Red Hat AI 3，专为首席信息官和IT主管提供一致且统一的体验，协助他们最大化加速运算技术的投资效益。企业不仅能在跨混合式或多供应商的环境中快速扩展与部署AI工作负载，还能通过单一通用平台，提升团队在新一代AI代理等项目上的协作效率。Red Hat AI 3以开放标准为基础，能满足企业在AI发展过程中各阶段的需求，支持任何硬件加速器上的任何模型，且适用于各种环境，包含数据中心、公有云、主权AI环境，甚至是边缘端。

Red Hat副总裁暨AI业务部总经理Joe Fernandes表示：“当企业将AI的应用规模从实验阶段扩展至生产环境时，将会面临复杂性、成本与管控上新一波的挑战。Red Hat AI 3作为企业级开放源码平台，正是为了将上述障碍降至最低。我们借由llm-d的分布式推论等创新功能为代理式AI奠定基石， IT团队得以更有自信地在任何基础架构上，以自己的方式将新一代AI投入实际运营。”

企业将AI举措推向生产环境后，其重心将从模型的训练与调校转移至推论，也即企业AI的“执行”阶段。Red Hat AI 3着重于可扩展且符合成本效益的推论能力，奠基于广受好评的vLLM与llm-d社交媒体项目，并结合Red Hat自身卓越的模型优化技术，为大型语言模型 (LLM) 提供生产环境级的服务。

为协助首席信息官充分利用高价值硬件加速资源，Red Hat OpenShift AI 3.0正式推出llm-d，重新定义LLM在Kubernetes上的原生执行方式。llm-d巧妙结合经验证的Kubernetes调度价值与vLLM的卓越性能，实现智能分布式推论，并结合多项关键开源技术，包括Kubernetes Gateway API Inference Extension、 NVIDIA Dynamo低延迟数据传输函数库 (NIXL)，以及DeepEP Mixture of Experts (MoE) 通信函数库，赋予企业：

Red Hat AI 3提供统一弹性体验，专为生产环境中生成式AI解决方案的协作需求打造。其设计旨在通过促进团队协作与统一工作流程，为企业创造实质价值。平台工程师和AI工程师可借由Red Hat AI中心 (AI Hub) 探索、部署与管理基础AI资产，其提供内置模型精选目录 (curated catalog) 的集中式管理中心，涵盖经验证与优化的生成式AI模型、模型生命周期管理注册表，以及可配置与监控运行于OpenShift AI上所有AI资产的部署环境。

Red Hat OpenShift AI 3.0版本不仅强化推论能力，更带来专注于代理管理的新版或强化功能，持续为可扩展的代理式AI系统奠定稳固基础。

为加速代理的创建与部署，Red Hat推出基于Llama Stack的统一应用程序界面层，助力让开发流程与OpenAI等业界标准保持一致。此外，为提倡更开放、更具互通性的生态系，Red Hat已率先采用模型上下文协议 (Model Context Protocol，MCP)，此强大的新兴标准能简化AI模型与外部工具的互动方式，是现代AI代理不可或缺的基础功能。