探究大語言模型微調中的知行差距：為何學會了卻不會用的機械機制分析

本研究揭示大型語言模型在微調時產生的「知行差距」，指出記憶的知識因未被導向有效運算層而無法泛化，並提出啟發式策略成功修復多數泛化失敗案例。

Problem

大型語言模型（LLM）在微調注入新知識時，常出現能背誦事實卻無法將其應用於下游推理任務的現象。研究將此定義為「知行差距」（Knowing–Using Gap），具體表現為記憶與泛化之間的準確度落差，以及學習過程中的時間滯後現象。

研究團隊開發了一種稱為「自我修補」（self-patching）的新型干預技術，用以監測新知識在模型內部的空間滲透動態。透過定位能顯著改善泛化失敗的激活位置，分析知識表示（representations）如何在模型內部轉移並影響輸出結果。

實驗發現泛化失敗的主因在於「知識電路失調」（knowledge-circuit misalignment）：記憶的知識表示雖已存在於模型內部，卻未能正確引導至負責有效運算的層級。研究提出的簡單啟發式策略能有效挽回 58% 至 75% 的泛化效能損失，且在跨領域實驗中證實了此發現的強健性。

本研究從機械解釋性（Mechanistic Interpretability）的角度，深入剖析了 LLM 知識獲取與應用不對稱的深層原因。這不僅為優化微調流程提供理論基礎，也為解決模型「死記硬背」問題提供了具實踐價值的診斷工具與修復方向。