Red Hat推出AI平台，内置IBM开源Granite模型

Red Hat昨（7）日公布Red Hat Enterprise Linux AI（RHEL AI），让企业用户可在混合云开发、测试和部署生成式AI模型。

RHEL AI为Red Hat首个基础架构模型平台，包含IBM研究院开源的大型语言模型（LLM）Granite及相关开发工具。IBM表示，整个解决方案将包成一个RHEL镜像文件，可用于在混合云上部署单一服务器。RHEL也将集成到混合云MLOPs平台OpenShift AI中。

图片来源／Red Hat

Granite是IBM研究院开发的旗舰级decoder-only Transformer架构LLM，去年9月发布。Granite模型家族的4个模型可用于AI助理、财务应用、多语（英、西、葡、德、法语）翻译，以及日文专用版本。

包含在RHEL AI中的Granite模型则是IBM开源的Granite 70亿模型（Granite-7b-base），它是Meta Llama2-7B基础模型变种，是以2兆token数据集训练而成，上下文长度达4千个token。

除了Granite模型外，新方案还包含IBM研究院提供的模型训练开发方法和工具，名为Large-scale Alignment for chatBots（LAB）。IBM说明，LAB方法使用分类指引（taxonomy-guided）的数据合成与新式多阶段调校框架，可借由减少人员标注及免除昂贵模型，降低AI模型开发门槛，也能借由指明领域知识及技能、使用大量生成的数据来训练、改进模型。

配合在RHEL AI项目，Red Hat也设立以LAB开源社交媒体InstructLab，借由开源Granite模型吸引开发人员加入贡献。

RHEL AI除了单独提供，也可包含在混合机器学习运行MLOPs平台OpenShift AI中，以便在分布式集群环境中大规模部署。开发人员可使用OpenShift的Kubernetes引擎来训练并执行AI模型，并使用内置的MLOPs功能管理其生命周期。IBM开发工具watsonx.ai是在OpenShift AI上开发，将可基于RHEL AI能力得以提升AI开发数据管理、模型治理能力。