DeepSeek-V4.1-Flash 发布：100 万上下文，每 token 仅 890 字节 KV 缓存

DeepSeek AI 发布了多模态混合专家（MoE）模型 DeepSeek-V4.1-Flash。该模型主干参数为 552B，另有 196B 的 Engram 参数，上下文窗口达到 100 万 token。预填充（prefill）阶段每 token 激活 8B 参数，解码（decode）阶段激活 16B。

此次发布的核心数字是全局 KV 缓存开销：每 token 890 字节，约为 DeepSeek-V4-Flash 的四分之一，比 DeepSeek-V1 小约 437 倍。

架构改动

40 层主干被拆分为 20 层因果编码器和 20 层解码器。受 YOCO 启发，解码器不再计算自己的全局 KV，而是由逐层投影权重从编码器最终隐藏状态中导出。提示 token 因此止步于编码器，预填充计算量接近减半。128 token 窗口的滑动窗口注意力（SWA）仍在每一层运行，解码器 SWA 状态只需重放最后 128 个提示 token 即可重建，团队称之为 Decoder SWA Bounded Replay。

V4.1-Flash 采用纯 CSA2，并沿层维度压缩缓存规模。18 个编码器层按 6 层一组共 3 组、压缩比为 2 运行；20 个解码器层按 4 层一组共 5 组、压缩比为 1 运行。解码器中的分层稀疏索引器让 Full 层构建最多 16,384 个位置的候选池（2,048 个块，每块 8 个位置），后续 Reindex 层只需在有界集合内打分。

主 KV 缓存被量化为 E2M1，每 16 个通道配一个 E4M3 缩放因子，遵循 NVFP4 但不使用其全局缩放，相比 V4 的 FP8 缓存，存储量接近减半。部署层面，SWA KV 不再持久化到 SSD，而是存放在由主机 DRAM 的 10% 划出的分布式池中，TTL 为分钟级；全局 KV 则保证 72 小时生命周期。

训练与可用性

预训练覆盖 45T 多模态 token，文本与多模态比例为 7:1。稀疏注意力在 64K 序列长度上从零训练，未做稠密预热，随后在 34T token 处将上下文扩展至 100 万。团队称，基座模型在世界知识和编程上与 DeepSeek-V4-Pro-Base 持平，而总参数只用了三分之一、激活参数只用了四分之一。

开放权重以 MIT 许可发布在 Hugging Face，支持 vLLM、SGLang 和 Transformers 路径。更多细节见 MarkTechPost 报道。