破解大型語言模型強化學習的訓練與推論落差：邁向單調推論策略優化新境界

本研究揭示 LLM 強化學習中訓練與推論引擎不一致導致的失效問題，並提出 MIPI 目標與 MIPU 框架，透過推論端代理指標篩選更新，顯著提升推理表現與穩定性。

Problem

大型語言模型在後訓練階段使用強化學習（RL）時，常因訓練與推論引擎的架構差異（如計算效率與精度的權衡）導致兩者對相同路徑的機率判斷不一。這種「訓練與推論不匹配」引發的離策（off-policy）問題，使得訓練引擎的優化無法保證實際部署時推論性能的提升，甚至導致訓練崩潰。

研究團隊提出「單調推論策略改進」（MIPI）作為新的優化目標，並開發 MIPU 框架。該框架採用兩步驟流程：首先建立以採樣器為參考的候選更新，接著利用推論端的差距代理（gap proxy）機制，有選擇性地接受並同步候選參數，確保推論策略能獲得實質且單調的提升。

在面臨高度不匹配的環境下，針對兩種不同規模的模型進行實驗。結果顯示 MIPU 不僅在多項基準測試中顯著增強了模型的平均推理能力，更有效解決了傳統強化學習中常見的訓練不穩定現象，展現出優異的魯棒性。

這項研究指出了過去文獻中被忽視的目標對齊問題，重新定義了 LLM 強化學習的核心優化對象。透過將焦點從純粹的訓練策略轉移至實際部署的推論策略，為開發更穩定、更高效的語言模型提供了全新的理論框架與實作路徑。