OpenBMB'den MiniCPM5-2B: 2,52 milyar parametreli, cihaz üstü çalışan model

OpenBMB, MiniCPM5 serisinin ikinci modeli olan MiniCPM5-2B'yi yayımladı. MiniCPM5-1B'nin ardından gelen model 2.516.756.480 parametreye sahip; bunun 1.981.982.720'si gömme katmanlarının dışında. 42 katman, 16 sorgu ve 2 anahtar/değer başlıklı gruplandırılmış sorgu dikkati (GQA) ve 131.072 token'lık yerel bağlam penceresi kullanıyor. Mimari standart LlamaForCausalLM olduğu için yaygın motorlar modeli özel çekirdek veya kod çatallaması olmadan yüklüyor.

Ağırlıklar Apache 2.0 lisanslı. Model vLLM, SGLang, Transformers, llama.cpp, Ollama, LM Studio, MLX ve FlagOS üzerinde çalışıyor.

Kıyaslama sonuçları

OpenBMB modeli kendi boyut sınıfında LFM2.5-2.6B, Qwen3.5-2B ve Gemma-4-E2B-it ile karşılaştırıyor; referans olarak Qwen3.5-4B, granite-4.2-3B, Nemotron-3-Nano-4B, Gemma-4-E4B-it ve LFM2.5-8B-A1B listeleniyor. 34 kıyaslama satırında ortalama 53,9. Bu sette en iyi karşılaştırma modeli 51,1 ile Qwen3.5-4B, ardından 42,7 ile granite-4.2-3B ve 33,2 ile LFM2.5-2.6B geliyor.

Kod tarafında LiveCodeBench v6'da 69,1 (karşısında 56,4), SWE-bench Verified'da 46,4 (karşısında 33,6) bildirildi. En geniş fark araç kullanımında: τ2-Bench Telecom 97,1, BFCL v4 66,6, τ3-Bench Banking 20,8 (karşısında 6,8). Uzun bağlamda tablo karışık: NoLiMa'da 68,1 (karşısında 43,5), ancak AA-LCR'de 59,0 (karşısında 61,0) ve LongBench v2'de 43,7 (karşısında 47,3). Genel bilgide boyut farkı görünüyor: MMLU-Pro'da 70,8 (karşısında 78,0), Humanity's Last Exam'de 8,9 (karşısında 9,9). Artificial Analysis kaynaklı satırlar tabloda ayrı işaretlenmiş.

Eğitim ve yayımlanan veri

Eğitim UltraData katmanlı veri yönetimi yöntemini izliyor. Sonradan eğitim 400 milyar token'lık derin düşünme SFT'siyle başlıyor; matematik, kod, ajan görevleri ve yazım için JustRL II algoritmasıyla ayrı RL öğretmenleri eğitiliyor. Son adım olan on-policy damıtma (OPD), beşi ajan odaklı 16 RL uzmanını tek modelde birleştiriyor ve avantaj tahmini olarak öğrenci ile öğretmen logit'leri arasındaki tam sözlük ters KL ıraksamasını kullanıyor. OpenBMB, RL ve OPD aşamasının akıl yürütme ve genel kıyaslamalarda 10,96, ajan kıyaslamalarında 6,96 puan kazandırdığını ölçtü.

Ağırlıkların yanında Ultra-FineWeb, Ultra-FineWeb-L3, UltraX, UltraData-Code, UltraData-Math, UltraData-SFT-2605, 500 bin ajan örneği içeren UltraData-SFT-Agent-2609 ve 80 binden fazla RL örneği içeren UltraData-RL-2609 yayımlandı. Base, Midtrain ve yalnız SFT ara kontrol noktaları da paylaşıldı. Ayrıntılar için MarkTechPost'un incelemesine bakabilirsiniz.