إطلاق DeepSeek-V4.1-Flash بسياق مليون رمز وذاكرة KV بحجم 890 بايت لكل رمز
أطلقت DeepSeek نموذج V4.1-Flash متعدد الوسائط بـ552 مليار معامل أساسي وأوزان مفتوحة برخصة MIT على Hugging Face.
أعلنت DeepSeek AI عن DeepSeek-V4.1-Flash، وهو نموذج متعدد الوسائط يعتمد بنية خليط الخبراء (MoE) بـ552 مليار معامل في العمود الفقري، إضافة إلى 196 مليار معامل Engram ونافذة سياق تبلغ مليون رمز. ينشّط النموذج 8 مليارات معامل لكل رمز أثناء مرحلة التعبئة المسبقة (prefill) و16 مليارًا أثناء فك الترميز (decode).
الرقم المحوري في الإعلان هو حجم ذاكرة KV العالمية: 890 بايت لكل رمز، أي نحو ربع ما يستهلكه DeepSeek-V4-Flash وأصغر بنحو 437 مرة من DeepSeek-V1.
ما الذي تغيّر في البنية
ينقسم العمود الفقري المكوّن من 40 طبقة إلى مُرمِّز سببي من 20 طبقة ومُفكِّك ترميز من 20 طبقة. وباستلهام من YOCO، لا يحسب المُفكِّك ذاكرة KV عالمية خاصة به، بل تشتقها أوزان الإسقاط في كل طبقة من الحالة المخفية النهائية للمُرمِّز. لذلك تتوقف رموز المُدخل عند المُرمِّز، ما يخفض حساب التعبئة المسبقة إلى النصف تقريبًا. ولا تزال آلية الانتباه بالنافذة المنزلقة بعرض 128 رمزًا تعمل في كل طبقة، وتُعاد بناء حالات المُفكِّك بإعادة تشغيل آخر 128 رمزًا فقط، وهو ما يسميه الفريق Decoder SWA Bounded Replay.
يستخدم V4.1-Flash آلية CSA2 الخالصة ويقلّص حجم الذاكرة على محور الطبقات. تعمل طبقات المُرمِّز الـ18 بنسبة ضغط 2 في ثلاث مجموعات من ست طبقات، بينما تعمل طبقات المُفكِّك الـ20 بنسبة 1 في خمس مجموعات رباعية. ويتيح المُفهرِس المتفرق الهرمي بناء مجموعة مرشحة تصل إلى 16,384 موضعًا.
تُكمَّم ذاكرة KV الرئيسية إلى E2M1 بمقياس E4M3 واحد لكل 16 قناة، اتباعًا لصيغة NVFP4 دون مقياسها العالمي، ما يخفض التخزين إلى النصف تقريبًا مقارنة بذاكرة FP8 في V4. ولم تعد ذاكرة SWA KV تُحفظ على قرص SSD، بل تعيش في تجمّع موزّع مقتطع من 10% من ذاكرة DRAM المضيفة بمدة صلاحية بالدقائق، فيما تحتفظ ذاكرة KV العالمية بعمر مضمون يبلغ 72 ساعة.
التدريب والإتاحة
يغطي التدريب المسبق 45 تريليون رمز متعدد الوسائط بنسبة 7:1 بين النص والوسائط. ويُدرَّب الانتباه المتفرق من الصفر عند طول تسلسل 64 ألف رمز دون تسخين كثيف، ثم يُمدَّد السياق إلى مليون عند 34 تريليون رمز. ويقول الفريق إن النموذج الأساسي يضاهي DeepSeek-V4-Pro-Base في المعرفة العامة والبرمجة باستخدام ثلث المعاملات الكلية وربع المعاملات المنشّطة.
الأوزان متاحة برخصة MIT على Hugging Face مع مسارات vLLM وSGLang وTransformers. التفاصيل في تقرير MarkTechPost.
