VC-Attention：透過值平滑與 Softmax 轉型加速擴散 Transformer 影片生成的低位元注意力機制

VC-Attention 提出 V-Smooth 與 ExpCast-FP8 技術，解決低位元量化中的離群值誤差與 Softmax 運算瓶頸，在維持高忠實度的同時，顯著提升影片生成的推論速度。

Problem

擴散 Transformer 在處理長序列影片生成時，注意力機制成為主要的運算負擔。低位元量化雖能加速，但常因「值」（Value）矩陣中不具固定結構的離群值，導致量化區間過大而產生嚴重誤差。此外，Softmax 的高精度指數運算在現代 GPU 管線中極為耗時，限制了整體吞吐量。

Method

提出無需訓練的 VC-Attention 框架，包含兩項關鍵技術：第一是「V-Smooth」，透過輕量化線上分群對值標記進行重排與殘差量化，並利用線上 Softmax 維持的列總和來還原均值；第二是「ExpCast-FP8」，利用融合乘加運算（FMA）將對數域分值直接映射為 E4M3 格式，跳過 FP32 指數計算與轉換。

Results

在 Blackwell、Hopper 與 RTX 5090 等硬體測試中，VC-Attention 的核心速度較 BF16 FlashAttention-4 提升 1.46 至 3.6 倍。應用於 Wan2.2 與 HunyuanVideo-1.5 等主流模型時，其影像忠實度優於現有低位元基準，且端到端生成速度提升最高達 1.7 倍。

Significance

此研究解決了影片生成模型在部署時的精度與效能權衡難題。藉由優化值矩陣量化與 Softmax 硬體映射，VC-Attention 讓高品質的長影片生成能在從資料中心到工作站等級的硬體上更高效地運行，為影片生成技術的普及鋪路。