Problem

在微調指令模型時，模型表現的提升往往伴隨著「行為飄移」（behavioral drift），導致模型偏離原始參考模型的行為準則。這種偏移通常被視為優化過程中的不可控副作用，容易損害模型既有的泛化能力或推理邏輯。

Method

研究團隊提出「飄移約束優化」（DCO），核心概念是預先設定行為飄移的「預算」，並將微調重新定義為一個「方向選擇」問題。研究在嚴格的僅問答（QA-only）環境下，利用層級選擇性探針（layer-selective probe）來尋找最佳更新方向，確保模型在權重調整時能精確定位至能提升效能的幾何空間。

Results

實驗結果顯示，在 Qwen3-8B 與 Qwen3-14B 模型上，正確的更新方向能讓模型在僅接受最終答案訓練的情況下，仍保有強大的多步推理能力。該方法在科學推理與超過 100 種語言的翻譯任務中表現優異，效能甚至超越了專用的翻譯系統，並為後續的強化學習提供了更穩健的初始化基礎。

Significance

這項研究改變了學界對模型優化的認知：微調的成功關鍵不在於模型改變了「多少」，而是在於如何有效分配並利用「飄移預算」。這為開發高效能且具備穩健泛化能力的語言模型開闢了新的技術路徑。