OpenBMB تطلق MiniCPM5-2B: نموذج بـ2.52 مليار معامل يعمل على الجهاز
نموذج MiniCPM5-2B برخصة Apache 2.0 يسجل متوسط 53.9 عبر 34 اختبارا مرجعيا، وأوضح تفوقه في استدعاء الأدوات ووكلاء البرمجة.
أطلقت OpenBMB نموذج MiniCPM5-2B، وهو النقطة الثانية في سلسلة MiniCPM5 بعد MiniCPM5-1B. النموذج لغوي سببي كثيف (dense) بـ2,516,756,480 معاملا، منها 1,981,982,720 خارج طبقات التضمين. يستخدم 42 طبقة، وآلية الانتباه بالاستعلامات المجمّعة (GQA) بـ16 رأس استعلام ورأسي مفتاح/قيمة، ونافذة سياق أصلية بـ131,072 رمزا. البنية قياسية من نوع LlamaForCausalLM، لذا تحمّله المحركات الشائعة دون أنوية مخصصة أو تفريع لشيفرة النموذج.
الأوزان مرخصة بـApache 2.0 وتعمل عبر vLLM وSGLang وTransformers وllama.cpp وOllama وLM Studio وMLX وFlagOS.
نتائج الاختبارات
تقارن OpenBMB النموذج بـLFM2.5-2.6B وQwen3.5-2B وGemma-4-E2B-it في الفئة الحجمية نفسها، وتدرج Qwen3.5-4B وgranite-4.2-3B وNemotron-3-Nano-4B وGemma-4-E4B-it وLFM2.5-8B-A1B للمرجعية. عبر 34 صفا من الاختبارات بلغ المتوسط 53.9، مقابل 51.1 لأفضل نموذج مرجعي وهو Qwen3.5-4B، ثم 42.7 لـgranite-4.2-3B و33.2 لـLFM2.5-2.6B.
في الاستدلال البرمجي سجل 69.1 على LiveCodeBench v6 مقابل 56.4، و46.4 على SWE-bench Verified مقابل 33.6. أوسع فارق كان في استخدام الأدوات: 97.1 على τ2-Bench Telecom، و66.6 على BFCL v4، و20.8 على τ3-Bench Banking مقابل 6.8. أما السياق الطويل فمتفاوت: 68.1 على NoLiMa مقابل 43.5، لكن 59.0 على AA-LCR مقابل 61.0، و43.7 على LongBench v2 مقابل 47.3. وتظهر فجوة الحجم في المعرفة العامة: 70.8 على MMLU-Pro مقابل 78.0، و8.9 على Humanity's Last Exam مقابل 9.9. وميّزت OpenBMB الصفوف المأخوذة من Artificial Analysis عن تلك المُعاد إنتاجها داخليا.
التدريب والبيانات المنشورة
يتبع التدريب منهجية UltraData لإدارة البيانات المتدرجة. يبدأ التدريب اللاحق بـ400 مليار رمز من الضبط الإشرافي العميق، ثم تُدرَّب معلمات تعلم معزز متخصصة للرياضيات والبرمجة والمهام الوكيلية والكتابة بخوارزمية JustRL II. الخطوة الأخيرة هي التقطير على السياسة (OPD)، الذي يدمج 16 خبير تعلم معزز، خمسة منها وكيلية، في نموذج واحد، ويحسب تباعد KL العكسي على كامل المفردات بين لوغيتات الطالب والمعلم كتقدير للأفضلية. وتقيس OpenBMB مكسب مرحلة RL وOPD بـ10.96 نقطة في اختبارات الاستدلال والاختبارات العامة و6.96 نقطة في الاختبارات الوكيلية.
إلى جانب الأوزان، نشرت الشركة Ultra-FineWeb وUltra-FineWeb-L3 وUltraX وUltraData-Code وUltraData-Math وUltraData-SFT-2605 وUltraData-SFT-Agent-2609 بـ500 ألف عينة وكيلية وUltraData-RL-2609 بأكثر من 80 ألف عينة، إضافة إلى نقاط تفتيش وسيطة. التفاصيل في تقرير MarkTechPost.
