Apple投入更多资源到人工智能领域的开发项目,其中开源小语言模型是他们目标之一。而最近Apple就分别推出了两款14亿和69亿参数的DCLM模型。Apple新推出的小语言模型在基准测试中表现比Mistral-7B优胜,性能更与Google和Meta相同规模的模型不相上下。
图片来源:Tom's Guide
图片来源:iThome
第一款模型为69亿参数的DCLM-7B,由2.6兆token的数据训练而成。在多语理解测试MMLU中DCLM-7B与Map-Neo有接近的性能,但计算资源耗损少40%。与私有模型比较,DCLM-7B得分为63.7%,与Mistral-7B-v0.3相同,接近Google Gemma的64.3%,略低于Llama 3-8B的66.2%。然而Apple声称DCLM模型的能耗低6.6倍。第二款模型为14亿参数的DCLM-1B,在Alpaca bench测试中,性能优于Hugging Face的SmolLM。
We have released our DCLM models on huggingface! To our knowledge these are by far the best performing truly open-source models (open data, open weight models, open training code) 1/5
— Vaishaal Shankar (@Vaishaal)July 18, 2024
这个DCML(DataComp for Language Models)项目的团队涉及Apple、华盛顿大学、特拉维夫大学和丰田研究所的研究人员,但相信除了其训练数据外不会成为Apple产品的一部分。Apple机器学习团队的Vaishaal Shanke在X平台上形容DCLM是目前表现最好的真正开源模型,而“真正开源”的意思是指所有模型权重、训练程序代码和数据集都与模型一同公开。
数据源:Tom's Guide、iThome
图片来源:Medium