Problem

當前大型語言模型在處理複雜推論或重複使用已驗證知識時，面臨運算成本高昂與脈絡長度受限的問題。即便模型先前已生成過正確答案，重新推論仍需消耗巨大算力，且難以確保在不同環境下輸出結果的數值一致性。

Method

開發出「位元級精確 KV-Cache 移植」（Byte-Exact KV-Cache Grafting）技術。將驗證過的知識儲存為位元完全一致的鍵值（KV）狀態構件，並直接「移植」到新的推論脈絡中。透過針對浮點旋轉位置編碼（RoPE）的精確對齊，確保移植後的輸出在 SHA-256 雜湊校驗下與原始計算完全相同，實現零 KL 散度（Zero KL Divergence）的無損轉移。

Results

在 AIME 2025 數學競賽中，凍結的 Gemma-4-12B 模型在移植驗證解答庫後，準確率由 80.0% 提升至 93.3%，甚至超越了 31B 參數模型的表現。在特定案例中，推論所需權杖（Token）數量縮減 6,574 倍，能耗大幅降低約 8,700 倍。此外，在不增加額外顯存的前提下，該技術將可用脈絡長度從 3.2 萬擴充至 285 萬個權杖。

Significance

此研究證明了「知識」可以被模組化儲存並跨設備、跨情境精確復用，且無需重新訓練或調整模型權重。這為建立極致高效、可驗證的 AI 推論飛輪提供了技術基礎，打破了模型規模與運算成本之間的傳統線性關係。