Meta AI 近日推出了 MobileLLM-R1，这是一系列轻量级边缘推理模型，目前已在 Hugging Face 上发布。该系列模型参数范围从 140M 到 950M，专注于高效的数学、编码和科学推理，且在不足 10 亿的参数规模下实现了优秀的性能表现。
MobileLLM-R1 的最大模型为 MobileLLM-R1-950M，采用了一系列架构优化设计：包括 22 层 Transformer 结构、24 个注意力头和 6 个分组 KV 头。模型的嵌入维度为 1536，隐藏层维度为 6144。
此外，模型还采用了分组查询注意力（GQA）来减少计算和内存需求，块级权重共享技术降低了参数数量而不显著增加延迟，SwiGLU 激活函数提升了小模型的表示能力。模型支持 4K 的上下文长度和 32K 的后训练模型。
在训练效率方面，MobileLLM-R1 的表现同样引人注目。该模型总共在约 4.2 万亿个 token 上进行训练，相较于 Qwen3 的 0.6B 模型训练的 36 万亿 token，MobileLLM-R1 仅使用了约 11.7% 的数据便达到了或超越了 Qwen3 的准确率。同时，模型在数学、编码和推理数据集上进行了监督微调，从而降低了训练成本和资源需求。
在各项基准测试中，MobileLLM-R1-950M 的表现优异：在 MATH500 数据集上，其准确率比 OLMo-1.24B 高出约 5 倍，且比 SmolLM2-1.7B 高出约 2 倍。在 GSM8K、AIME 和 LiveCodeBench 等推理和编码任务上，MobileLLM-R1 甚至与 Qwen3-0.6B 相匹配或超越，尽管所使用的 token 数量远少于后者。
不过，MobileLLM-R1 的聚焦也带来了局限性。虽然在数学、编码和结构化推理方面表现强劲，但在一般对话、常识推理和创造性任务上，MobileLLM-R1 的表现较大型模型有所不足。此外，模型在生产环境中的使用受到 FAIR NC（非商业）许可证的限制，较长的上下文 (32K) 也提高了推理时的 KV 缓存和内存需求。
