llama.cpp 0.4.0: دعم أولي لـ Qwen3.8-Flash-Next وNemotron-3-Puzzle، وتغييران يخفضان استهلاك الذاكرة
أصدر المشروع الذي يعتمد عليه معظم من يشغّلون النماذج على أجهزتهم نسخة جديدة. عائلتان جديدتان من النماذج تحصلان على دعم أولي، لكن الأهم عملياً في جانب الذاكرة: صارت الموترات تُقرأ عند الطلب، ووُضع سقف للمكمِّم. وعلى جانب الخادم صار حد السياق يُطبَّق لكل فتحة على حدة.
أصدر llama.cpp، وهو المعيار الفعلي لتشغيل النماذج محلياً، النسخة 0.4.0. وقد جاء الإعلان من حساب المشروع نفسه.
تتلخص ملاحظات الإصدار في ثلاثة عناوين: دعم أولي لعائلتين جديدتين من النماذج، وقراءة الموترات عند الطلب، وحد للسياق لكل فتحة على الخادم.
النماذج الجديدة
- Qwen3.8-Flash-Next (معمارية
qwen4exp). وتذكر الملاحظات أن الدعم أولي وأن أعمال التحسين ما زالت منتظرة. - NVIDIA Nemotron-3-Puzzle-75B-A9B
- نسخة Nemotron 3.5 DSpark
- nanbeige4.2-3B
كما أُضيف دعم flash attention المتناثر لـ DeepSeek-V4 وGLM وqwen4exp.
الأهم هو الذاكرة
رقم الإصدار ليس الخبر؛ الخبر هذان التغييران. وكلاهما يعالج المشكلة نفسها: قفزة الذاكرة عند تشغيل نموذج كبير على جهاز متواضع.
قراءة الموترات عند الطلب. صارت الموترات تُحمَّل عند الحاجة بدل تحميلها دفعة واحدة، وهو ما يخفض عبء الذاكرة أثناء تهيئة النموذج.
سقف ذاكرة للمكمِّم وتدفق على شكل شرائح صفوف. صار للمكمِّم سقف، وتتدفق البيانات على شكل شرائح صفوف، منعاً لقفزات الذاكرة أثناء التكميم.
ومعاً يعنيان: مساحة لنموذج أكبر على العتاد نفسه، أو النموذج نفسه بذاكرة أقل.
على الخادم: سياق لكل فتحة
صار خادم llama.cpp قادراً على تطبيق حد حجم السياق لكل فتحة على حدة. وهذا يسهّل إدارة الموارد بين الطلبات المتزامنة: فطلب واحد بسياق طويل لم يعد يبتلع ذاكرة الخادم كلها.
وإلى جانب ذلك إضافتان: تتبّع الرموز في خلايا KV مع بحث في تاريخ n-gram، ودعم نقل Apple RDMA لـ RPC. كما انتقلت مكتبة ggml الأساسية من 0.22.0 إلى 0.23.0.
للقارئ المؤسسي
هذا الإصدار موجّه إلى المؤسسة التي تريد تشغيل النموذج على جهازها بدل إرسال بياناتها إلى السحابة. والعائق أمام التشغيل المحلي ليس النموذج عادةً، بل الذاكرة اللازمة لفتحه؛ والذاكرة تُقاس عند الذروة لا عند المتوسط. وقراءة الموترات عند الطلب وسقف المكمِّم يمسّان تلك الذروة مباشرة.
وعملياً: النموذج الذي لم يكن يتّسع على خادمك قد يتّسع الآن. لكن قِس ذلك على عتادك قبل الاعتماد عليه، لأن المكسب يختلف باختلاف النموذج وصيغة التكميم.
المصادر
- المصدر الأساسي: ملاحظات إصدار llama.cpp v0.4.0، ggml-org: github.com/ggml-org/llama.cpp
- الإعلان: منشور الإصدار من حساب المشروع نفسه، 4 أيلول.
