Hugging Face公布可在设备上执行的小型多模态模型

在7月公布SmolLM轻量语言模型后，AI应用开发平台Hugging Face本周公布轻量多模态模型SmolVLM，主打轻量、高性能，为其小型语言模型再添成员。

SmolVLM为参数量20亿的小型多模态模型，号称是同规模模型的State-of-the-Art（SOTA）。SmolVLM可接受以任意图片和文本的组合作为输入，但作为轻量模型，它只会生成文本输出。SmolVLM能回答关于图片的问题、描述图片内容，根据多张图片来说故事，也可以当成纯语言模型使用。开发团队表示，SmolVLM基于轻量架构，很适合在设备上执行，且维持多模态任务的高性能。

SmolVLM的架构是以Hugging Face之前推出的视觉模型IDEFICS 3为基础，连Transformer实例也相同。但是Hugging Face较IDEFICS有几点不同。第一是将语言骨干由Llama 3.1 8B换成了SmolLM2 1.7B。其次，SmolVLM采用更强大的图片压缩技术，使用了像素混合（pixel shuffle）策略，以及更大的patch来为视觉字词编码，这能提升它编码效率、推论速度更快，但使用的内存更少。

Hugging Face强调SmolVLM的高效及内存效率，并公布和市面参数量相当的模型的测试数据。在多模态理解、推理、数学以及文本理解能力方面，SmolVLM超越InternVL2、PaliGemma、MM1.5、moondream、MiniCPM-V-2等模型，而以GPU RAM使用效率而言，也超越大多数模型。其中和阿里巴巴的Qwen2-V2相较，SmolVLM的预填充吞吐量快3.3到4.5倍，而生成吞吐量则是7.5到16倍大。

Hugging Face公布了SmolVLM家族三个模型，包括可供微调基础模型SmolVLM-Base、以合成数据集微调成的SmolVLM-Synthetic、以及以指令微调的版本SmolVLM Instruct，后者能立即提供终端用户互动使用。SmolVLM的所有模型检查点、训练数据集、训练方法及工具，都以Apache 2.0授权开源。