100 خطوة GRPO ترفع نموذجاً بـ350 مليون معامل من 22.6% إلى 29.7%

نشرت مدونة Hugging Face دليلاً عملياً منخفض التكلفة لجعل نموذج صغير أكثر التزاماً بالمخارج المهيكلة (structured outputs). يعتمد الدليل على ضبط نموذج LFM2.5-350M بخوارزمية Group Relative Policy Optimization (GRPO) باستخدام مكتبة TRL، ثم قياسه على معيار IFStruct، وقد ارتفعت النتيجة من 22.6% إلى 29.7%.

حجم التجربة صغير عن قصد: نحو 500 عينة و100 خطوة تدريب، بما يتناسب مع وحدة معالجة رسومية مجانية على Colab أو Kaggle بذاكرة 16 غيغابايت. الشيفرة متاحة على GitHub.

خط الأساس وتصميم المكافأة

لتوحيد بيئة المقارنة، شُغّل النموذج محلياً على حاسوب MacBook عبر llama.cpp بصيغة BF16 GGUF. مدونة إصدار IFStruct تسجل 21.1% لنموذج LFM2.5-350M، بينما أعطى القياس المحلي 22.6%، واعتُمد هذا الرقم كخط أساس. جرى تشغيل المعيار على 2000 عينة.

بيانات التدريب مأخوذة من مجموعة nvidia/Nemotron-RL-instruction_following-structured_outputs، التي تربط كل مُوجّه بمخطط JSON Schema مستهدف وعدد حقول متوقع. ولأن توزيع بيانات Nemotron يختلف عن تقييم IFStruct، جرى تعزيز المُوجّهات لسد فجوتين بينهما.

أُضيف محوّل LoRA إلى النموذج الأساسي، وبما أن معمارية LFM2.5 هجينة تجمع الانتباه والالتفاف، استهدف الإعداد أسماء وحدات خاصة بـLFM. عُرّفت ثلاث دوال مكافأة، كل منها على مقياس [0، 1]، تقيّم صحة البنية في كل إكمال، وجُمعت بأوزان 1.0 و0.5 و2.0، مع 8 توليدات لكل مجموعة مُوجّهات. خلال التدريب صعدت مكوّنات المكافأة الثلاثة، وارتفع مقياس KL عن الصفر بعد مرحلة التهيئة، وبقيت نسبة الإكمالات المقطوعة قريبة من الصفر.

موضع التحسن

جاء التحسن في الموضع المستهدف: ارتفع معدل النجاح في JSON من 18.0% إلى 31.9%، بينما بقي YAML شبه ثابت. ويشير الدليل إلى أن النتيجة لا تزال أدنى من 33.15% المسجلة لنموذج Qwen3.5-2B، لكنها تُظهر أن ضبطاً خفيفاً موجهاً لمهمة محددة يقرّب نموذجاً صغيراً من نموذج أكبر منه بأضعاف.

تفاصيل المسار الكامل والدفتر التفاعلي في المقال الأصلي على Hugging Face.