ذاكرة بمليون رمز تسع في الجيب: SparkLLM تفتح مصدر نماذج Spark X2.5
يأتي النموذجان العاملان على الأجهزة، بحجمي 4 مليارات و1.7 مليار معامل، بنافذة سياق أصلية تصل إلى مليون رمز. بنيا على معمارية انتباه هجينة وضبطا للوكلاء والبرمجة والرياضيات.
ارتفع السقف في سباق النماذج العاملة على الأجهزة: فقد فتحت SparkLLM مصدر نموذجي Spark X2.5-4B وX2.5-1.7B. وادعاء الشركة صريح: هذان هما النموذجان الوحيدان على الأجهزة بنافذة سياق أصلية تصل إلى مليون رمز. والأصلية تعني أن النافذة جاءت من التدريب لا من حيلة تمديد لاحقة؛ فقد بنيت قدرة السياق الطويل في مرحلة تدريب مخصصة من مئات مليارات الرموز بأطوال متتاليات تمتد إلى مليون.
والمعمارية لافتة أيضًا: تصميم انتباه هجين يقرن طبقة انتباه كامل واحدة بثلاث طبقات نافذة منزلقة، وهكذا يحمل كلفة ذاكرة السياق الطويل. دربت النماذج مسبقًا على نحو 20 تريليون رمز، وتغطي أكثر من 200 لغة، وضبطت خصيصًا لتدفقات عمل الوكلاء والبرمجة والرياضيات واتباع التعليمات. والأوزان متاحة على Ollama أيضًا، على بعد أمر واحد من تجربة محلية.
فيم ينفع مليون رمز على الجهاز؟ جواب الشركة: يستطيع النموذج قراءة دليل منتج كامل أو قاعدة شيفرة كاملة أو دفعة مستندات في مرور واحد، والاحتفاظ بالصورة الكاملة عبر مهمة متعددة الخطوات، وكل ذلك محليًا. انتهى عصر تقطيع المستندات إلى شظايا. وشورك رقم ميداني أيضًا: على مجموعة اختبار لأوامر المنزل الذكي يحقق نموذج 1.7 مليار دقة أوامر من طرف إلى طرف تبلغ 90.3 بالمئة بمتوسط تأخير 0.85 ثانية، ويقال إن نموذج 4 مليارات ينافس نماذج السحابة في البرمجة. وهذه قياسات الشركة نفسها حتى الآن؛ وينتظر أن تأتي تقييمات مستقلة في الأسابيع المقبلة.
الصورة الأكبر: كما كتبنا في تغطية ContextPilot من تينسنت، عنق الزجاجة في سباق الوكلاء هو السياق. وتهاجم SparkLLM المشكلة نفسها من جهة العتاد: بدل إدارة السياق، أعط النموذج الذي يسع الجيب محيطًا من الذاكرة. وأي النهجين سيفوز هو من أشد أسئلة الهندسة إثارة في عصر الوكلاء.
