法国AI创业公司Mistral AI本周公布AI模型定制化工具,包括API、SDK,让开发人员更容易为自家AI应用微调模型,或是提升模型的执行性能和速度,此外也提供企业模型微调服务。

过去,微调模型需要高额投资,也需要具备相当的模型知识。为此,Mistral AI推出微调用的SDK及API,借以降低微调模型的成本及技术门槛。而且,新工具可支持在用户自有基础架构上微调Mistral AI模型,或是使用Mistral AI托管的微调服务二种场景。

Mistral AI的微调SDK名为mistral-finetune。后者是一种高效轻量程序库(codebase)。这家企业说,这codebase是以LoRA(Low-Rank Adaptation)训练典范训练而成,支持省内存(memory-efficient)和高效的微调作业,允许用户在自己的基础架构上微调Mistral AI所有开源模型,而不损及性能。根据mistral-finetune网页说明,为确保性能,建议使用A100或H100 GPU。这个程序库已为多GPU单一节点训练环境优化,但若用较小模型如Mistral AI 7B,则单一个GPU已足够。

这家创业公司另外也发布la Platforme上的一组无服务器(serverless)微调服务API。这些服务以Mistral独有的微调技术为基础改良,达到可快速、省成本微调,以及快速部署模型的目的。这是Mistral模型开放应用开发商访问的新方式,底层使用LoRA接口,以防用户忘记基础架构模型知识,也更方便提供服务。

微调服务API兼容Mistral 7B及Mistral Small二种模型。这些模型用户现在就能利用API加以定制化。该公司表示,未来几周会再加入支持的新模型。

若用户不会微调,或希望微调结果更符合自有应用,Mistral AI也能代劳;新公布的定制化训练服务能以客户自有数据来微调模型,适合创建更专精化和为特定领域优化的模型。该公司在这服务中加入高端技术,像是持续预训练(continuous pretraining),以便在模型权重中加入专属知识。目前这定制化训练服务已经提供给一小部分客户。