DeepSeek-V4.1-Flash çıktı: 1M bağlam, token başına 890 bayt KV önbellek
DeepSeek, 552B omurga parametreli, 1 milyon token bağlamlı multimodal MoE modeli V4.1-Flash'ı MIT lisansıyla açık ağırlıklı yayımladı.
DeepSeek AI, DeepSeek-V4.1-Flash adlı multimodal Mixture-of-Experts modelini yayımladı. Model 552 milyar omurga parametresi, buna ek 196 milyar Engram parametresi ve 1 milyon tokenlık bağlam penceresi taşıyor. Prefill sırasında token başına 8 milyar, decode sırasında 16 milyar parametre etkinleşiyor.
Duyurunun merkezindeki sayı KV önbellek boyutu: token başına 890 bayt. Bu, DeepSeek-V4-Flash'ın yaklaşık dörtte biri ve DeepSeek-V1'e göre kabaca 437 kat daha küçük.
Mimari tarafında ne değişti
40 katmanlı omurga, 20 katmanlı nedensel kodlayıcı ve 20 katmanlı kod çözücü olarak ikiye ayrılmış. YOCO'dan esinlenen tasarımda kod çözücü kendi global KV'sini hesaplamıyor; katman başına projeksiyon ağırlıkları bunu kodlayıcının son gizli durumundan türetiyor. İstem tokenları kodlayıcıda durduğu için prefill hesabı neredeyse yarıya iniyor. 128 tokenlık pencereyle kayan pencere dikkati her katmanda çalışmaya devam ediyor ve kod çözücü durumları yalnızca son 128 token tekrar oynatılarak yeniden kuruluyor, ekip buna Decoder SWA Bounded Replay diyor.
V4.1-Flash saf CSA2 kullanıyor ve önbelleği katman ekseninde küçültüyor. 18 kodlayıcı katmanı 6'lı üç grupta 2 sıkıştırma oranıyla, 20 kod çözücü katmanı 4'lü beş grupta 1 oranıyla çalışıyor. Kod çözücüdeki Hiyerarşik Seyrek İndeksleyici, Full katmanın 16.384 pozisyona kadar aday havuzu kurmasını sağlıyor.
Ana KV önbelleği 16 kanalda bir E4M3 ölçekle E2M1'e nicelendiriliyor; bu NVFP4'ü global ölçek olmadan izliyor ve V4'ün FP8 önbelleğine göre depolamayı neredeyse yarıya indiriyor. SWA KV artık SSD'ye yazılmıyor, host DRAM'in yüzde 10'undan ayrılan dağıtık havuzda dakikalık TTL ile tutuluyor; global KV'nin garantili ömrü 72 saat.
Eğitim ve erişim
Ön eğitim 7'ye 1 metin-multimodal oranıyla 45 trilyon token kapsıyor. Seyrek dikkat 64K uzunlukta sıfırdan eğitiliyor, bağlam 34 trilyon tokenda 1 milyona çıkarılıyor. Ekibe göre temel model, toplam parametrenin üçte biri ve etkin parametrenin dörtte biriyle dünya bilgisi ve kodlamada DeepSeek-V4-Pro-Base ile eşleşiyor.
Ağırlıklar MIT lisansıyla Hugging Face'te; vLLM, SGLang ve Transformers yolları destekleniyor. Ayrıntılar MarkTechPost'un haberinde.
