IBM在TechXchange年度技术大会上发布旗舰级模型系列第三代Granite 3.0。Granite 3.0经由宽松的Apache 2.0许可发布，在许多学术与行业评比测试中，均超越或与类似规模的竞者模型并驾齐驱，展现优异性能、建模弹性、透明度与安全性。

此次发布的IBM Granite 3.0系列模型包括：

Granite 3.0 8B与2B被设计为企业级AI的主力模型，可为检索增强生成、分类、摘要、实体提取、工具使用等企业任务；而这些小巧、多功能模型可以根据企业数据进行微调，与业务场景或工作流程无缝集成。

在性能方面，Granite 3.0 8B Instruct模型在Hugging Face的OpenLLM排行榜评比测试中，平均领先Meta与Mistral类似大小的开源模型的最佳性能。在IBM的AttaQ安全评比测试中，上述模型在所有受测的安全维度里，表现均优于Meta与Mistral的模型。

Hugging Face的OpenLLM排行榜 (v2) 中包含的基准平均分。

另外，在这次发布里还有专家混合架构Granite 3.0 1B-A400M与Granite 3.0 3B-A800M，这些较小型、轻量级的模型可构建在传统CPU服务器，用于低延迟应用程序，兼顾性能与推理成本。IBM还发布预训练Granite时间串行模型的更新版本。这些新模型基于多三倍的数据量训练，具备更高的建模弹性、支持外部变量与滚动预测。在三个主要时间串行模型评比中，Granite的性能超越了Google、阿里等规模大十倍的模型。

在特定任务上激活小型Granite模型，搭配企业自有数据，加上使用IBM与RedHat在今年五月推出的对齐技术InstructLab，企业能够在获得与使用其他大型模型相同性能下，大幅降低成本。（根据数个早期概念验证案例进行的成本分析结果显示，成本减少约3至23倍）

而在透明度方面，Granite 3.0技术报告与负责任使用指南中，均详细描述了训练这些模型的数据集、所采用的数据过滤、清洗与处理步骤；并详列它们在主要学术与行业评比测试里的性能结果。另外，IBM也为watsonx.ai平台上的所有Granite模型提供知识产权赔偿保证，强化企业客户采用此模型的信心。

IBM推出新的Granite Guardian模型系列，应用开发人员可以通过检查用户提示与LLM回应来构建“安全护栏”，提前发现各种风险。Granite Guardian 3.0 8B与2B模型提供完整的风险与危险检测功能；也可与任何其他开放或专用的AI模型共同使用，强化AI安全保护机制。

比较模型在安全基准上的性能，测量对不同类别的不良反应的稳健性。

除了偏见、仇恨、脏话、亵渎、暴力、尝试破解限制等AI危害指标，Granite Guardian模型还提供了独有的RAG特定检查，例如是否基于事实、与上下文的相关性、与答案的相关性等。在针对安全性与RAG标准的19项广泛测评中，Granite Guardian 3.0 8B模型对于危害检测的整体准确性，平均优于Meta既有三个版本的Llama Guard模型；它接受幻觉检测的整体表现，也与专门用于幻觉检测的模型WeCheck和MiniCheck相当。

Granite 3.0模型使用超过12万亿个标记的数据量训练而得；数据来自12种不同的自然语言，与116种不同的程序语言。预计到今年底前，Granite 3.0 8B与2B模型将支持扩展到128K上下文窗口和多模型文件理解能力。

在开放性方面，全Granite 3.0模型组与更新版的时间串行模型，均可在HuggingFace上根据宽松的Apache 2.0许可证下载。新的Granite 3.0 8B和2B语言模型的指令变项、以及Granite Guardian 3.0 8B和2B模型，已在IBM watsonx平台商用。部分Granite 3.0模型也将作为NVIDIA NIM微服务提供，并通过Google Cloud的Vertex AI Model Garden与HuggingFace的集成提供。

为向开发人员提供多种选择和易用性，并支持本地和边缘应用，精选的Granite 3.0模型也可在Ollama和Replicate上取得。新一代Granite模型扩展了IBM强大的开源LLM目录：IBM与AWS、Docker、Domo、Qualcomm Technologies（通过其Qualcomm AI Hub）、Salesforce、SAP等合作伙伴合作，将多种Granite模型集成在它们的产品里或平台上。

IBM同时宣布将Granite 3.0设置为IBM Consulting Advantage AI赋能服务平台上的默认AI模型。全球16万位IBM咨询顾问可以在各种客户应用场景里，如客户服务或IT现代化，轻松方便地应用Granite模型，更敏捷、高效、经济地为客户提供商业价值。