解決 RoPE 量化瓶頸：Block-GTQ 位元分配技術，大幅提升長文本推理效能與 KV 快取效率

Problem

現有的低位元 KV 快取（KV-Cache）量化器通常將鍵（Key）視為扁平向量處理，忽略了在旋轉位置編碼（RoPE）機制下，鍵對注意力權重的貢獻實際上是由多個二維頻率區塊組成的位點相關總和。這導致均勻量化無法捕捉不同區塊對誤差的敏感度差異，進而造成長文本推理精度的劇烈下滑。

Method

研究團隊提出 Block-GTQ，這是一種專為 RoPE 設計的位元分配器。它建立在 TurboQuant-MSE 基礎上，針對每個層級與注意力頭計算 RoPE 區塊的無標籤能級得分（Energy Score），並根據邊際收益（Marginal Gain）採取貪婪演算法分配整數位元寬度，確保高能級且對誤差敏感的區塊能獲得更多位元資源。

Results

在十個模型的診斷測試中，Block-GTQ 在 2 與 3 位元量化下將每層平均絕對誤差（MAE）降低了 32-80%。實測顯示，Llama-3.1-8B-Instruct 在長文本檢索（NIAH）的平均分從 70.6 提高至 97.4。在單張 H800 GPU 上，對 Qwen2.5-3B 實現 3.24 倍快取壓縮，推論速度提升 1.34 倍，並成功在 fp16 記憶體溢出的情況下支援高達 512K 的超長上下文。

Significance

此研究突破了長文本大型語言模型部署的記憶體瓶頸。透過精確的位元分配策略，Block-GTQ 證明了在極高壓縮率下仍能保持接近 fp16 原始精度的推理能力，對於提升複雜推理模型（如 DeepSeek-R1）在長對話與大規模檢索場景中的實用性具有重要貢獻。