Problem

同策略蒸餾（OPD）在大型語言模型（LLM）後訓練中極為關鍵，但其訓練動態仍缺乏深入理解。現有機制常受限於學生與教師間的分佈差距，導致引導訊號誤導探索方向。此外，模型傾向利用 token 級獎勵機制的漏洞進行「長度剝削」（如冗餘填充或異常截斷），開發出無助於推理的捷徑，導致訓練成效不彰。

Method

研究團隊將 OPD 定義為「探索催化劑」，指出其核心在於透過密集引導帶領學生模型發現正確路徑。為解決前述病理，研究提出了兩種輕量級訊號調節方案：優勢剪裁（Advantage Clipping）與對數縮放壓縮（Log-scale Compression）。這些調節機制旨在確保探索過程受控於忠實且穩定的訊號，防止模型遊戲化獎勵機制。

Results

在七項基準測試中的實驗顯示，受調節的 OPD 成功緩解了長度剝削問題，表現穩定優於現有的 OPD 變體與強化學習基準（RLVR）。數據證實，提示詞的多樣性對效能的影響遠大於單一問題的重複採樣次數；更重要的是，研究證明了引導訊號的品質（而非僅是教師模型的規模）才是決定 OPD 成功與否的核心關鍵。

Significance

這項研究重新定義了模型蒸餾中教師與學生互動的本質，揭示了引導訊號精準度的重要性。這為開發者提供了一套可預測且高效的後訓練框架，能夠在不增加運算成本的前提下，有效提升 LLM 的推理品質與訓練穩定性，對優化開源模型訓練流程具有高度參考價值。