Nunchux AI تطلق VC-Attention لتسريع نماذج الفيديو التوليدية

أطلقت شركة Nunchux AI نواة VC-Attention، وهي نواة انتباه منخفضة البتات لا تتطلب تدريباً، مصممة لمحولات الانتشار الخاصة بالفيديو (Video DiTs). تعالج النواة مشكلتين في آن واحد: خطأ تكميم القيم وبطء مرحلة softmax.

تحوّل نماذج DiT المقطع المرئي إلى تسلسل واحد من الرموز المكانية الزمانية، وتشغّل الانتباه الذاتي الكامل في كل طبقة. يمتد مقطع مدته 5 ثوانٍ بدقة 720p على Wan2.2-14B إلى نحو 70 ألف رمز. وعلى بطاقة RTX 5090 يستهلك الانتباه أكثر من 64% من زمن التوليد. ويذكر فريق البحث أن الانتباه يمثل نحو ثلثي كل خطوة إزالة ضوضاء في MiniMax-H3 على وحدة B200 واحدة.

عنقان في المسار

تعمل الطرق السابقة مثل SageAttention2 على تنعيم الاستعلامات والمفاتيح، وبعد التنعيم والتدوير يصبح حد القيمة مسؤولاً عن 82% من خطأ المخرجات في Wan2.2. أما softmax بين حاصلي الضرب فما زال يعمل بدقة FP32، وعلى B200 وH200 تتحول الدالة الأسية وتحويلها إلى FP8 إلى أطول مرحلة في خط المعالجة.

تتركز القيم الشاذة في عدد قليل من الرموز، وتتنقل قنواتها بين الرؤوس والطبقات والخطوات. ولأن تدوير هادامارد يحافظ على معايير الرموز فإن تدوير V يغيّر خطأ القيمة بنسبة 0.2% فقط. في المقابل، يزيل متوسط الكتل، بمعدل 100 رأس في Wan2.2، نحو 8% من طاقة الكتلة بالترتيب التسلسلي و36% بعد الفرز، بكلفة 0.125 بت لكل عنصر قيمة.

النتائج

شملت الاختبارات أربعة نماذج فيديو مفتوحة الأوزان: Wan2.2-T2V-A14B وLongCat-Video وHunyuanVideo-1.5 وMiniMax-H3. على B200 تفوق VC-Attention على SageAttention2 بمقدار 6.02 ضعف، إذ لا توفر الأخيرة نواة لمعمارية Blackwell، بينما يضيق الفارق إلى 1.16 ضعف على H200. وفي MiniMax-H3 بدقة 1344×768 يعمل الانتباه أسرع 1.60 مرة من BF16 FlashAttention-4 على B200، مع قيمة PSNR تبلغ 20.2 ديسيبل مقابل 19.9 لـ SageAttention2.

وبما أن الطريقة تغيّر كلفة التفاعل الواحد فقط، تقول الشركة إنها تتوافق مع أساليب الانتباه المتفرق والتقطير والتشغيل متعدد وحدات المعالجة. التفاصيل الكاملة في تقرير MarkTechPost.