> ## Content Index
> Fetch the complete content index at: https://globalfeed.ai/llms.txt
> Use this file to discover other available public pages before exploring further.

# Nunchux AI 推出 VC-Attention 加速视频扩散模型
- URL: https://globalfeed.ai/zh/nunchux-ai-tui-chu-vc-attention-jia-su-shi-pin-kuo-san-mo-xing/
- Published: 2026-09-18T16:52:14.000Z
- Updated: 2026-09-18T16:52:14.000Z
- Description: Nunchux AI 发布免训练低比特注意力内核 VC-Attention，针对视频 DiT 中的数值量化误差与缓慢的 softmax 阶段。
- Author: GlobalFeed Editor
- Tags: Nunchux AI, 视频生成, 注意力机制, x-marktechpost, dil-zh, denetim-gerekli, video

Nunchux AI 发布了 **VC-Attention**，这是一款面向视频扩散 Transformer（Video DiT）的免训练低比特注意力内核，同时针对两个问题：value 量化误差，以及缓慢的 softmax 阶段。

视频 DiT 会把一段视频展平成一条时空 token 序列，并在每一层运行完整自注意力。Wan2.2-14B 上一段 5 秒 720p 的片段约为 7 万 token。在 RTX 5090 上，注意力占据了超过 64% 的生成时间。研究团队称，在单张 B200 上，注意力约占 MiniMax-H3 每个去噪步骤的三分之二。

## 两处瓶颈

SageAttention2 等此前方法会对 query 和 key 做平滑处理。在 QK 平滑与旋转之后，Wan2.2 上有 82% 的输出误差来自 value 项。另一方面，两次矩阵乘法之间的 softmax 仍以 FP32 运行，在 B200 和 H200 上，指数运算及其 FP8 转换成为流水线中最长的一环。

value 离群值集中在少数 token 上，其通道会随注意力头、层和步骤发生偏移。Hadamard 旋转保持 token 范数不变，因此旋转 V 只让 value 误差改变 0.2%。而以 100 个 Wan2.2 注意力头平均计算，块均值在序列顺序下消除了 8% 的块能量，排序后达到 36%，每个均值的代价为每个数值元素 0.125 比特。

ExpCast-FP8 利用了 E4M3 字节本身已接近所存数值对数的特性，用一次融合乘加直接从对数域分数写出字节。在 20.48 万条 Wan2.2 注意力行上，实测平均偏差为 1.6%。

## 实测数据

测试覆盖四个开源权重视频 DiT：Wan2.2-T2V-A14B、LongCat-Video、HunyuanVideo-1.5 和 MiniMax-H3。在 B200 上，VC-Attention 比未提供 Blackwell 内核的 SageAttention2 快 6.02 倍；在 H200 上差距缩小至 1.16 倍。在 MiniMax-H3 的 1344×768 分辨率下，B200 上的注意力比 BF16 FlashAttention-4 快 1.60 倍，PSNR 为 20.2 dB，SageAttention2 为 19.9 dB。

该方法只改变单次交互的成本，公司表示它可以与稀疏注意力、蒸馏以及多卡执行叠加使用。更多细节见 [MarkTechPost 报道](https://www.marktechpost.com/2026/09/16/nunchux-ai-introduces-vc-attention-a-training-free-low-bit-attention-kernel-that-speeds-up-video-diffusion-transformers/?ref=globalfeed.ai)。