微软发布最新的轻量级语言模型Phi-4,这是一款拥有140亿参数的小型语言模型,尽管参数规模较小,Phi-4除了展现语言处理能力外,还具备良好的数学推理能力,性能足以媲美如Llama等更大型的模型。Phi-4显示轻量模型也能追求高性能的可能性。
小型语言模型优势在于资源效率和应用灵活性,相较于需要庞大计算资源的大型语言模型,小型语言模型对硬件需求较低,使开发者能以更低成本进行部署,甚至适用于边缘设备或移动设备。此外,小型语言模型的运算速度快、延迟低,特别适用于需要即时回应的场景。
Phi-4是微软Phi系列语言模型的新成员,专注于在有限参数下提升数学推理能力与语言处理精准度。根据微软的数据显示,Phi-4在数学竞赛问题的表现,甚至超越了一些参数更大的模型,例如Llama 700亿参数版本及其他知名的大型模型。。
微软解释,之所以Phi-4在基准测试中可以完成良好的效果,得益于数据集品质的提升,包括采用高品质合成数据以及精心收集的真实数据,再加上创新的后训练技术,大幅提升了模型推理精准度。Phi-4目前已在微软的Azure AI Foundry平台上提供,并计划在之后登陆Hugging Face,进一步扩大应用场景。