法国AI创业公司企业Mistral AI本周公布Les Ministraux,让开发商及用户可在笔记本或智能手机等边缘设备上执行AI任务。
两款新模型各名为Ministral 3B与Ministral 8B,合称Les Ministraux,是为设备和边缘应用场景开发的state-of-art模型。两者支持128K脉络长度(在vLLM框架上目前为32K),其中Ministral 8B还具有交错滑动窗口(interleaved sliding-window)注意力模式,可支持更快、更省内存的推论作业。
该公司强调,二款新模型已在参数100亿以下类别模型中,将知识、常识、函数调用及效率能力提升到新境界,可用于多种个人或企业应用,像是设备上翻译、带宽不佳地区的智慧助理、本地端分析或自主机器人。而若结合较大语言模型如Mistral Large,les Ministraux也能扮演多阶段代理式工作流程的函数调用中介者角色,经微调后能根据用户需求,在多种场景中处理输入解析(input parsing)、任务路由或调用API,提供低成本及低延迟性的效益。
这家创业公司企业也比较了和市场上参数量相仿的知名模型的比较,显示在知识与常识、程序撰写、数学解题、以及多语能力,Ministral 3B超越Meta Llama 3.2 3B及Google Gemma 2 2B,Ministral 8B则大部分超过Meta Llama 3.1 8B以及自家的Mistral 7B,只在程序撰写任务上小输Llama 3.1 8B。
Mistral AI已通过Hugging Face公开Ministral-8B-Instruct-2410供研究用途,支持中文等10种语言。用户必须输入基本联系资讯换取授权。二款模型不久后将提供给云计算合作伙伴。
由Mistral AI的la Platforme平台访问模型的费用方面,Ministral 8B为输入/输出每百万token 0.1美元,Ministral 3B为输入/输出每百万token 0.04美元。Ministral 8B提供商用及研究授权,较小的Ministral 3B只提供商用授权。若企业开发商想自行部署可联系Mistral AI,企业会协助为特定应用场景无损缩减模型。