350M'lik modelde 100 GRPO adımı: IFStruct skoru 22,6'dan 29,7'ye

Hugging Face blogunda yayımlanan rehber, 350 milyon parametreli LFM2.5-350M modelini yapılandırılmış çıktı üretiminde daha güvenilir hale getirmek için izlenen ucuz bir yolu adım adım anlatıyor. Eğitim, TRL kütüphanesiyle Group Relative Policy Optimization (GRPO) kullanılarak yapıldı ve sonuç IFStruct kıyaslamasında ölçüldü: skor %22,6'dan %29,7'ye çıktı.

Çalışmanın ölçeği küçük: yaklaşık 500 örnek ve 100 eğitim adımı. Rehbere göre bu, ücretsiz Colab veya Kaggle GPU'suna, yani 16 GB'lık bir karta sığıyor. Kod GitHub'da paylaşıldı.

Kurulum ve ödül tasarımı

Yazar, karşılaştırmayı aynı sunum yığınında tutmak için modeli MacBook üzerinde llama.cpp ile BF16 GGUF olarak servis etti. IFStruct blogu LFM2.5-350M için %21,1 bildiriyor; yerel ölçüm %22,6 çıktı ve temel çizgi olarak bu değer kullanıldı. Kıyaslama 2000 örnekle koşuldu.

Eğitim verisi olarak nvidia/Nemotron-RL-instruction_following-structured_outputs seti seçildi; her istem bir hedef JSON Schema ve beklenen alan sayısıyla eşleşiyor. Nemotron veri dağılımı IFStruct değerlendirmesinden farklı olduğu için istemler iki boşluğu kapatacak şekilde zenginleştirildi.

Modele LoRA adaptörü eklendi. LFM2.5 melez dikkat/konvolüsyon mimarisi kullandığı için LFM'ye özgü modül adları hedeflendi. Her tamamlamayı [0, 1] aralığında puanlayan üç ödül fonksiyonu tanımlandı ve bunlar 1,0 / 0,5 / 2,0 ağırlıklarıyla toplandı. İstem grubu başına 8 üretim yapıldı. Koşu boyunca üç ödül bileşeni de yükseldi, referans modelden KL ısınmadan sonra sıfırdan ayrıldı, kesilen tamamlama oranı sıfıra yakın kaldı.

Kazanç nerede oluştu

Artış doğrudan hedeflenen yerde göründü: JSON geçme oranı %18,0'dan %31,9'a çıktı, YAML büyük ölçüde aynı kaldı. Rehber bu sonucun hala Qwen3.5-2B'nin %33,15'lik skorunun altında olduğunu belirtiyor, ancak göreve özgü hafif bir ince ayarın küçük bir modeli kat kat büyük bir modele yaklaştırdığını söylüyor.

Tam pipeline ve not defteri için Hugging Face blog yazısına bakabilirsiniz.