Nunchux AI 推出 VC-Attention 加速视频扩散模型

Nunchux AI 发布了 VC-Attention，这是一款面向视频扩散 Transformer（Video DiT）的免训练低比特注意力内核，同时针对两个问题：value 量化误差，以及缓慢的 softmax 阶段。

视频 DiT 会把一段视频展平成一条时空 token 序列，并在每一层运行完整自注意力。Wan2.2-14B 上一段 5 秒 720p 的片段约为 7 万 token。在 RTX 5090 上，注意力占据了超过 64% 的生成时间。研究团队称，在单张 B200 上，注意力约占 MiniMax-H3 每个去噪步骤的三分之二。

两处瓶颈

SageAttention2 等此前方法会对 query 和 key 做平滑处理。在 QK 平滑与旋转之后，Wan2.2 上有 82% 的输出误差来自 value 项。另一方面，两次矩阵乘法之间的 softmax 仍以 FP32 运行，在 B200 和 H200 上，指数运算及其 FP8 转换成为流水线中最长的一环。

value 离群值集中在少数 token 上，其通道会随注意力头、层和步骤发生偏移。Hadamard 旋转保持 token 范数不变，因此旋转 V 只让 value 误差改变 0.2%。而以 100 个 Wan2.2 注意力头平均计算，块均值在序列顺序下消除了 8% 的块能量，排序后达到 36%，每个均值的代价为每个数值元素 0.125 比特。

ExpCast-FP8 利用了 E4M3 字节本身已接近所存数值对数的特性，用一次融合乘加直接从对数域分数写出字节。在 20.48 万条 Wan2.2 注意力行上，实测平均偏差为 1.6%。

实测数据

测试覆盖四个开源权重视频 DiT：Wan2.2-T2V-A14B、LongCat-Video、HunyuanVideo-1.5 和 MiniMax-H3。在 B200 上，VC-Attention 比未提供 Blackwell 内核的 SageAttention2 快 6.02 倍；在 H200 上差距缩小至 1.16 倍。在 MiniMax-H3 的 1344×768 分辨率下，B200 上的注意力比 BF16 FlashAttention-4 快 1.60 倍，PSNR 为 20.2 dB，SageAttention2 为 19.9 dB。

该方法只改变单次交互的成本，公司表示它可以与稀疏注意力、蒸馏以及多卡执行叠加使用。更多细节见 MarkTechPost 报道。