> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Nunchux AI'dan video difüzyon modellerini hızlandıran VC-Attention
- URL: https://globalfeed.ai/nunchux-aidan-video-difuzyon-modellerini-hizlandiran-vc-attention/
- Published: 2026-09-18T16:52:14.000Z
- Updated: 2026-09-18T16:52:14.000Z
- Description: Nunchux AI, video Diffusion Transformer modellerinde dikkat katmanını hızlandıran, eğitim gerektirmeyen düşük bitli çekirdek VC-Attention'ı yayımladı.
- Author: GlobalFeed Editor
- Tags: Nunchux AI, video üretimi, dikkat mekanizması, x-marktechpost, dil-tr, denetim-gerekli, video

Nunchux AI, video Diffusion Transformer (DiT) modelleri için tasarlanmış **VC-Attention** adlı düşük bitli dikkat çekirdeğini yayımladı. Yöntem eğitim gerektirmiyor ve iki soruna birden yöneliyor: value (değer) nicemleme hatası ve yavaş softmax aşaması.

Video DiT modelleri bir klibi tek bir uzay zamansal token dizisine açar ve her katmanda tam öz dikkat çalıştırır. 5 saniyelik 720p bir Wan2.2-14B klibi yaklaşık 70 bin token tutuyor. RTX 5090'da dikkat, üretim süresinin %64'ünden fazlasını alıyor. Araştırma ekibine göre tek B200 üzerinde MiniMax-H3'ün her gürültü giderme adımının yaklaşık üçte ikisi dikkate gidiyor.

## İki darboğaz

SageAttention2 gibi önceki yöntemler sorgu ve anahtarları düzleştiriyor; QK düzleştirme ve döndürmeden sonra Wan2.2'de çıktı hatasının %82'si value teriminden geliyor. İkinci sorun, iki matris çarpımı arasındaki softmax'ın hala FP32 çalışması. B200 ve H200'de üstel işlem ve FP8 dönüşümü en uzun boru hattı aşamasına dönüşüyor.

Value aykırı değerleri birkaç token'da toplanıyor ve kanalları başlıklar, katmanlar ve adımlar arasında kayıyor. Hadamard döndürmesi token normlarını koruduğu için bunları temizlemiyor: V'yi döndürmek value hatasını yalnızca %0,2 değiştiriyor. Nunchux'un blok ortalaması ise 100 Wan2.2 başlığı ortalamasında dizi sırasında blok enerjisinin %8'ini, sıralama sonrasında %36'sını kaldırıyor. Her ortalama, değer başına 0,125 bit maliyetli.

ExpCast-FP8 adımı, E4M3 baytının zaten sakladığı değerin logaritmasına yakın olmasından yararlanıyor ve baytı tek bir kaynaşık çarp topla işlemiyle doğrudan yazıyor. Ölçümlerde 204,8 bin Wan2.2 dikkat satırında ortalama sapma %1,6.

## Ölçümler

Testler Wan2.2-T2V-A14B, LongCat-Video, HunyuanVideo-1.5 ve MiniMax-H3 olmak üzere dört açık ağırlıklı modeli kapsıyor. B200'de VC-Attention, Blackwell çekirdeği bulunmayan SageAttention2'den 6,02 kat hızlı; H200'de fark 1,16 kat. MiniMax-H3'te 1344x768 çözünürlükte dikkat, B200'de BF16 FlashAttention-4'e göre 1,60 kat hızlı çalışıyor ve PSNR 20,2 dB ölçülmüş (SageAttention2 için 19,9 dB).

Şirket, yöntemin yalnızca etkileşim başına maliyeti değiştirdiğini, bu yüzden seyrek dikkat yöntemleriyle ve çok GPU'lu çalıştırmayla birlikte kullanılabileceğini söylüyor. Ayrıntılar için [MarkTechPost'un haberine](https://www.marktechpost.com/2026/09/16/nunchux-ai-introduces-vc-attention-a-training-free-low-bit-attention-kernel-that-speeds-up-video-diffusion-transformers/?ref=globalfeed.ai) bakabilirsiniz.