HydraHead：突破長文本瓶頸，運用注意力頭異質性打造高效率線性與全注意力混合模型

本研究提出 HydraHead，首創在注意力頭層級融合全注意力與線性注意力。透過可解釋性篩選關鍵頭並結合正規化融合模組，以極低成本達成 512K 超長文本的高效處理。

Problem

全注意力機制（FA）的平方級複雜度限制了大型語言模型處理長文本的能力，而現有的層級混合架構（Layer-wise Hybrid）難以平衡效能與計算效率，且注意力機制的內部設計空間仍有待深入探索。

提出 HydraHead 架構，將混合維度從傳統的「層」細化至「頭（Head）」。研究團隊透過可解釋性分析，識別出負責檢索任務的關鍵頭並保留全注意力，其餘則轉換為線性注意力（LA）。此外，特別設計了尺度正規化融合模組，以解決兩種注意力機制輸出分布不均的問題。

在 512K 脈絡長度下，HydraHead 較基準模型提升逾 69% 效能。僅需 15B 標記（tokens）訓練，在 7:1 的 LA 與 FA 比例下，其長文本表現即可匹敵 3:1 的層級混合模型，且綜合推理能力維持優異，效能直追 Qwen3.5 等領先模型。

本研究證明了「頭層級異質性」是提升長文本效率的關鍵。這種細粒度的混合策略不僅大幅降低了長 context 處理的計算成本，更為未來超長脈絡模型的架構設計提供了更具擴展性與效率的新方向。