在公有云巨头的GAI技术竞赛中，IBM今年5月终于发布了自家开源LLM模型Granite，到了十月时更在年度产品大会上推出3.0新版模型。台湾IBM最近也开始在台介绍Granite新版模型，要抢攻企业GAI落地部署的需求，更披露了在台发展GAI的两大策略。

台湾IBM首席技术官庄士逸表示，刚发布的Granite 3.0新版是一款轻量级的基础模型，包括了1B、2B、3B和8B参数量的版本，采用可商用的Apache 2.0开源授权，可以部署到企业内部环境，也能在硬件资源较低的环境中执行，来瞄准企业落地部署的需求。3.0版可以支持12种语言，包括中文，台湾IBM内部也正在进行繁体中文的测试。

Granite 3.0包括了一系列的模型，包括了大型语言模型，还有强化输入和回应内容过滤的安全护栏模型，另外还有推测解码模型、程序代码开发模型、时间串行模型和地理空间模型，目前先发布的是大型语言模型系列和安全护栏系列模型，陆续再推出其余模型。企业可到Hugging Face等网站自行下载，也能在IBM的AI开发平台Watsonx或Google Vertex AI等平台上选用。

除了多语言支持，3.0版也开始提供企业打造代理人需要的工具调用能力，目前可支持Function Call功能，在LLM模型调用外部的第三方函数库。后续将发布3.1版，预计可支持到128Ｋ上下文长度的数据输入输出，还会强化程序代码生成的能力，以及代理人应用的逻辑推理功能。IBM在Watsonx平台上提供了调度工具，可用来组合LLM模型和第三方组件，打造AI代理人应用。

台湾IBM透露，明年要发布的Granite 3.2版将是一款多模态LLM，将发布Granite-3.0-vision-instruct模型，可理解图像，后续还会推出支持声音的模型版本。

庄士逸表示，IBM已经用Granite模型打造多款内部的AI代理人，包括了后勤HR、后勤IT HelpDesk、后勤IT系统申请、后勤ERP、员工绩效管理、销售、业务绩效、合作伙伴管理等名为Ask系列的AI代理人助手。例如他就曾收到员工绩效管理AI助理的通知，提醒他有名员工表现优异，GAI汇集整理了市场上同类职务的薪水水准供他参考，询问庄士逸是否要帮这名员工加薪，若他按下同意键，就会自动完成相关调薪申请，自动实施到这名员工下个月的薪水汇款。这是由GAI汇集整理外部市场资讯，结合内部流程自动化工具而成的AI代理人应用。

IBM在年度大会上也公布了最新的产品战略架构，底层是各种基础架构和混合云平台产品，包括了OpenShift、企业级Linux、Ansible，再上一层则是Data与AI层，以Watsonx平台服务，还有多款AI助理服务和安全护栏服务。庄士逸表示，新版战略架构有一项改变是，在数据与AI层之上，IBM将自动化工具产品独立成一个平台层，可用来和AI工具集成。最上面一层则是各项顾问服务与合伙伙伴。

台湾IBM的客户工程团队从2023年至今，完成了数百个GAI客户PoC案例，已有高科技制造和金融的GAI应用实例，例如有金融企业用GAI来搜索内部知识文件，或是用来整理语音会议的文本记录。也有高科技企业用RAG做法来检核ESG报告的内容，是否符合不同ESG标准的各项要求。

庄士逸表示，台湾IBM的GAI发展策略，主要分为两大做法，一是针对有意采用GAI但需求还不明确的企业，IBM将扮演顾问来协助，与有大型企业客户经验的数据科学家，协助这些企业评估和试验LLM模型的应用。另一项做法则瞄准需求明确的企业，提供设计思考工作坊，也以4～8周时间打造出目标应用场景的PoC验证，或是最小可行产品（MVP），供企业评估是否正式导入。

他观察，过去一年，台湾企业大多处于试验、寻找使用场景或是验证RAG做法，接下来会开始往IT自动化、程序代码模型开发、智能助理等方向发展。不过，目前采落地部署的案例多以LLaMA模型为主，台湾IBM未来也计划引荐自家Granite模型给台湾企业。