Meta开源MobileLLM-R1:专注数学编程科学的小参数AI模型

AI资讯2个月前发布 ainav
45 0

Meta于9月22日正式发布了其最新研发的MobileLLM-R1系列小型语言模型,该系列提供三种不同参数版本:1.4亿、3.6亿和9.5亿参数。这些模型设计初衷在于满足轻量级设备如移动平台的运算需求。

Meta开源MobileLLM-R1:专注数学编程科学的小参数AI模型

值得注意的是,Meta明确指出MobileLLM-R1并非通用聊天机器人模型。该系列模型采用了监督式微调(SFT)技术,针对数学、编程(包括Python和C++等语言)以及科学问题等领域进行了专门训练。以最大版本的950M参数模型为例,其预训练仅使用约2TB高质量token数据,整体训练数据量不到5TB。然而,在MATH、GSM8K、MMLU、LiveCodeBench等权威评测中,该模型表现优异,甚至超越了采用36TB token数据训练的Qwen 3-0.6B。

在与其他开源小模型的对比测试中,MobileLLM-R1 950M在MATH测试中的准确率分别是Olmo 1.24B的五倍和SmolLM 1.7B的两倍。在编程任务方面,该模型同样展现出色性能,优于上述竞争对手。

目前开发者可通过vLLM推理引擎轻松部署MobileLLM-R1系列模型,仅需在ModelRegistry中注册Llama4ForCausalLM即可使用。该系列模型已以Apache 2.0协议开源,并可在Hugging Face平台获取(点击此处访问)。

© 版权声明

相关文章