層級式稀疏注意力機制 HiLS：突破長文本瓶頸，實現近乎無限的上下文處理能力

本研究提出 HiLS 注意力機制，透過端到端檢索學習優化區塊選擇，在大幅提升運算效率的同時，顯著增強大型語言模型對超長文本的推論與外推能力。

Problem

大型語言模型（LLM）在處理長文本時，面臨密集注意力機制（Dense Attention）運算量呈平方級增長，以及長度外推表現不佳的問題。雖然區塊式稀疏注意力是潛在的解決方案，但現有方法常因區塊選擇不夠精確，導致性能遠遜於全注意力模型。

研究團隊開發了「層級式標記稀疏注意力」（HiLS），將注意力機制進行層級化分解：首先讓查詢（Query）與各個檢索到的區塊獨立進行注意力運算以提取特定資訊，隨後根據檢索分數融合輸出結果。透過將檢索分數直接納入語言模型（LM）損失函數中，HiLS 實現了端到端的檢索優化與原生稀疏訓練。

實驗證明，HiLS 在訓練長度內的表現與全注意力機制相當，甚至更優。在長度外推方面，HiLS 能處理超過訓練長度 64 倍的文本，且檢索準確率高達 90%。此外，現有的全注意力模型僅需透過輕量的持續預訓練，即可轉化為 HiLS 架構，並獲得處理超長文本的能力。

這項研究打破了傳統長文本模型在效率與效能之間的權衡。透過稀疏化的鍵值（KV）存取與運算，HiLS 為建構更高效、且能處理極大規模上下文的通用大型語言模型提供了一條清晰且極具競爭力的技術路徑。