OpenBMB 发布 MiniCPM5-2B：25.2 亿参数稠密模型，主打端侧智能体

OpenBMB 发布了 MiniCPM5-2B，这是 MiniCPM5 系列继 MiniCPM5-1B 之后的第二个检查点。该模型为稠密因果语言模型，参数量 2,516,756,480，其中 1,981,982,720 位于词嵌入之外。模型采用 42 层结构、分组查询注意力（GQA，16 个查询头与 2 个键/值头），原生上下文窗口为 131,072 个 token。由于架构是标准的 LlamaForCausalLM，主流推理引擎无需自定义算子或修改模型代码即可加载。

权重以 Apache 2.0 许可发布，可在 vLLM、SGLang、Transformers、llama.cpp、Ollama、LM Studio、MLX 和 FlagOS 上运行。

基准成绩

OpenBMB 将其与同体量的 LFM2.5-2.6B、Qwen3.5-2B 和 Gemma-4-E2B-it 对比，并列出 Qwen3.5-4B、granite-4.2-3B、Nemotron-3-Nano-4B、Gemma-4-E4B-it 和 LFM2.5-8B-A1B 作为参考。在 34 项基准上平均得分 53.9；该组中最强的对比模型 Qwen3.5-4B 为 51.1，其后是 granite-4.2-3B 的 42.7 和 LFM2.5-2.6B 的 33.2。

代码推理方面，LiveCodeBench v6 得分 69.1（对比 56.4），SWE-bench Verified 得分 46.4（对比 33.6）。差距最大的是工具调用：τ2-Bench Telecom 97.1，BFCL v4 66.6，τ3-Bench Banking 20.8（对比 6.8）。长上下文表现不一：NoLiMa 68.1（对比 43.5），但 AA-LCR 59.0（对比 61.0），LongBench v2 43.7（对比 47.3）。通用知识则体现出体量差距：MMLU-Pro 70.8（对比 78.0），Humanity's Last Exam 8.9（对比 9.9）。来自 Artificial Analysis 的数据行与内部复现结果分开标注。

训练方法与开放数据

训练遵循 UltraData 分层数据管理方法。后训练先进行 4000 亿 token 的深度思考 SFT，再用基于评论家的 JustRL II 算法，为数学、代码、智能体任务和写作分别训练强化学习教师模型。最后一步是同策略蒸馏（OPD），把 16 个强化学习专家（其中 5 个面向智能体）合并为一个模型，在每个回答位置计算学生与教师 logits 之间的全词表反向 KL 散度作为优势估计，并复用原有强化学习提示作为蒸馏数据。OpenBMB 测得 RL 与 OPD 阶段在推理与通用基准上带来 10.96 分、在智能体基准上带来 6.96 分的平均提升。

除权重外，OpenBMB 还开放了 Ultra-FineWeb、Ultra-FineWeb-L3、UltraX、UltraData-Code、UltraData-Math、UltraData-SFT-2605、含 50 万智能体样本的 UltraData-SFT-Agent-2609，以及含 8 万余条样本的 UltraData-RL-2609，并公布了 Base、Midtrain 与仅 SFT 的中间检查点。详情见 MarkTechPost 报道。