llama.cpp يتيح تشغيل نماذج القرار على الخوادم المحلية ويسرّع توليد النصوص

أصدر مشروع llama.cpp في 5 أكتوبر 2026 الإصدار 0.6.0. وllama.cpp برنامج مفتوح المصدر يتيح تشغيل نماذج الذكاء الاصطناعي على حاسوبك أو خادمك الخاص دون إرسال البيانات إلى السحابة، ويطوره مجتمع ggml-org. وبحسب ملاحظات الإصدار، تتركز أبرز التغييرات لمن يشغّلون النماذج محليًا في ثلاثة محاور: واجهة خادم جديدة لنماذج القرار، وطرق إضافية لتسريع توليد الردود، ودعم نماذج جديدة.

أبرز الإضافات نقطة نهاية جديدة باسم /v1/systemone، وبفضلها صار بالإمكان تشغيل نماذج القرار داخل llama-server، وهو برنامج الخادم المرافق لـ llama.cpp. ونموذج القرار يقرأ حالة معينة ثم يمنح كل خيار من خيارات محددة مسبقًا احتمالًا. وهكذا يمكن إنجاز مهام التصنيف، مثل توجيه طلب دعم إلى الفريق المختص أو تحديد نوع مستند، محليًا دون أن تغادر البيانات المؤسسة.

نماذج القرار تعيد الاحتمالات داخل llama-server

بحسب ملاحظات الإصدار، جاءت الواجهة الجديدة بدعم خمسة نماذج هي laya وjulia-1 وlev وopenjev وkev، ثم أضيف إليها nimble في الإصدار نفسه. كما حصل نموذج Clef الذي أطلقته Cloudflare قبل أيام على دعم كامل للنص والصورة. وتشير وثائق الخادم إلى أن الواجهة تتبع صيغة TypeSafe API. ويحمل الطلب الحالة المراد تقييمها مع مجموعة من الأسئلة، وهي ثلاثة أنواع: سؤال اختيار (choice)، وسؤال تقييم بدرجات (score)، وسؤال نعم أو لا (noul). ويتضمن الرد الخيار الأعلى احتمالًا، واحتمال كل خيار، وقيمة تعبر عن الثقة. ولأن النموذج لا يولّد نصًا، يصل الرد دفعة واحدة، ولا يتوفر البث التدريجي (streaming).

وتذكر الوثائق تفاصيل أخرى. فالنماذج الأخرى تجيب عن كل سؤال على حدة، في حين يقرأ Clef جميع أسئلة الطلب معًا ويقرر فيها مجتمعة. والخادم الذي يشغّل Clef يقدّم هذه النقطة وحدها، ولا يتاح فيه توليد النصوص. ويتطلب إدخال الصور نموذجًا يدعمها مع تحميل ملف الإسقاط متعدد الوسائط عبر --mmproj، ومن هذه النماذج openjev وClef. كما صار رد GET /v1/models يوضح ما يستطيع كل نموذج قراءته وإنتاجه، وتُعلَّم نماذج القرار الأصلية بمخرج "decisions"، فيتعرف البرنامج العميل على نموذج القرار دون الحاجة إلى تحميله.

فك الترميز التخميني يسرّع توليد الردود

تولّد النماذج اللغوية الرد رمزًا بعد رمز (token)، ويعمل النموذج الكبير بكامله في كل خطوة. وفي فك الترميز التخميني (speculative decoding) تقترح طريقة سريعة أولًا مسودة للرموز القليلة التالية، ثم يتحقق النموذج الكبير من المسودة دفعة واحدة ويقبل الجزء الصحيح منها. وعندما تصيب المسودة كثيرًا يتسارع الرد بوضوح، ويبقى الناتج مكوّنًا من رموز أقرّها النموذج الكبير.

يوفر llama-server عدة طرق لذلك، وتبرز اثنتان منها في هذا الإصدار. تعتمد MTP (التنبؤ بعدة رموز) على طبقة موجودة داخل النموذج نفسه ومدرّبة على توقع أكثر من رمز مسبقًا، فلا حاجة إلى نموذج مسودة منفصل، وتُفعَّل عبر --spec-type draft-mtp. وبحسب ملاحظات الإصدار، أضيف دعم MTP لعائلة Qwen3.8-Flash-Next، وقيس تسارع في توليد الرد بنحو 1.5 مرة على جهاز NVIDIA DGX Spark. كما أضيف خيار لأخذ العينات الاحتمالي في نماذج المسودة وMTP، والهدف منه زيادة قبول المسودات عندما تكون قيمة الحرارة (temperature) أعلى من الصفر.

أما DFlash فيعمل بنموذج مسودة صغير ومنفصل. وبحسب الوثائق، يُخرج هذا النموذج كتلة كاملة من الرموز في خطوة واحدة (بطريقة تُعرف بالانتشار الكتلي)، ويقرأ الحالات الداخلية للنموذج الرئيسي أثناء التوقع. ويُدرَّب نموذج المسودة دائمًا لنموذج هدف محدد. ومثال على التشغيل: llama-server -m model.gguf -md dflash-model.gguf --spec-type draft-dflash --spec-draft-n-max 7، مع العلم أن قيمة --spec-draft-n-max تُقيَّد بحجم الكتلة الذي دُرّب عليه نموذج المسودة. وتنشر ggml-org في مستودع Qwen3.8-27B على Hugging Face، إلى جانب ملفات النموذج الرئيسي، ملفات جاهزة تبدأ بـ dflash- وmtp-، فلا حاجة إلى أي تحويل لتجربة الطريقتين. وأضاف هذا الإصدار كذلك دعم DFlash لنماذج MiMo.

دعم GLM-5.3-Flash ونماذج جديدة أخرى

أكبر نموذج جديد في قائمة الدعم هو GLM-5.3-Flash (GLM5-Next). وبحسب ملاحظات الإصدار، هو نموذج هجين يقرأ النص والصور، ويعتمد بنية مزيج الخبراء (MoE)، ويضم 320 مليار معامل. كما انضم Ling 3.0 VL ونماذج LFM2.5-Encoder إلى قائمة النماذج المدعومة.

واجهة الويب تنزّل النماذج مباشرة

جرى تحديث واجهة الويب المرفقة بـ llama-server، فأضيفت إليها طبقة بيانات تتصل بـ Hugging Face Hub ومسار لتنزيل النماذج، إلى جانب تقدير لمدى اتساع ذاكرة الحاسوب للنموذج. ويسهّل ذلك اختيار النموذج وتنزيله من الواجهة دون البحث عن ملفه في سطر الأوامر.

وعلى أجهزة Apple، حصلت واجهة Metal على تحديثين: نواة flash attention جديدة لذاكرة KV بدقة F16، ونوى جديدة لضرب المصفوفات تُستخدم في فك الترميز التخميني والتوليد على دفعات. وبحسب ملاحظات الإصدار، تسرّع النوى الجديدة ضرب المصفوفات على معالجات Apple الرسومية بما يصل إلى نحو 3 مرات. وأضيف إلى Vulkan دعم flash attention المتناثر لذاكرة K/V المكمّاة، وانتقلت مكتبة ggml الأساسية إلى الإصدار 0.26.0.

MTP سرّع التوليد في تجربة GlobalFeed الخاصة

في تجربة GlobalFeed الخاصة، شُغّل نموذج خضع لضبط دقيق ومبني على Qwen3.8-27B (بتكميم Q4) على بطاقة رسومات NVIDIA RTX 3090 واحدة. وعند تفعيل MTP ارتفعت سرعة التوليد في نصوص الأعمال التركية من نحو 39 رمزًا في الثانية إلى نحو 58 رمزًا، ولم تتغير مخرجات القرار. أما مسودة DFlash المدرّبة لنموذج Qwen3.8-27B الأساسي، فلم يُقبل منها مع هذا النموذج المضبوط سوى نحو 5 بالمئة من المسودات في النص التركي الحر، وانخفضت السرعة هناك إلى النصف تقريبًا، في حين أصبح استخراج JSON أسرع. والدرس المستفاد أن المسودة المدرّبة لنموذج أساسي قد لا تناسب النسخ المضبوطة المشتقة منه، لذا ينبغي قياس أي طريقة للتسريع على نموذجك وبلغتك.

أرقام السرعة الواردة في ملاحظات الإصدار تخص نماذج وأجهزة بعينها، ويختلف المكسب بحسب النموذج وصيغة التكميم واللغة ونوع المهمة. وتوضح وثائق الخادم أن الاحتمالات التي تعيدها نماذج القرار تُضبط بقيم مخزنة في ملف النموذج، ولا يُضمن أن تطابق النسب الفعلية في بياناتك، لذا يُستحسن اختبارها على أمثلتك الخاصة قبل استخدامها مع نصوص غير إنجليزية. كما رُفع في هذا الإصدار رقم صيغة ملفات الجلسات المحفوظة، فعلى من يعتمد على جلسات محفوظة بإصدار أقدم التحقق من ذلك قبل التحديث. ولرؤية النتائج من زوايا مختلفة، تابع أيضًا تقييمات الباحثين المستقلين.

المصادر: ملاحظات إصدار llama.cpp v0.6.0، ووثائق llama-server: /v1/systemone، وllama.cpp: وثائق فك الترميز التخميني، وHugging Face: ggml-org Qwen3.8-27B-GGUF.