突破熵界限：利用多標記預測與拒絕採樣技術，大幅提升大型語言模型強化學習訓練效率

本研究開發 Bebop 系統，揭示強化學習中模型熵波動對多標記預測（MTP）接受率的負面影響。透過機率性拒絕採樣與創新的 TV 損失函數，在 Qwen 訓練中實現 1.8 倍加速。

Problem

強化學習（RL）的推論生成階段（rollout）是大型語言模型訓練的主要效能瓶頸。雖然多標記預測（MTP）能透過推測解碼加速生成，但在 RL 過程中，隨著模型熵（entropy）的增加，MTP 的接受率會顯著下降，導致加速效果嚴重受限且不穩定。

Method

研究團隊提出 Bebop 框架，首先揭示了接受率與模型熵之間的負相關性。為了解決此問題，該方法採用機率性拒絕採樣（Rejection Sampling）取代傳統的貪婪採樣，並引入全新的端到端全變分（TV）損失函數，直接優化多步採樣的接受率。此外，研究證實僅需在 RL 前進行 MTP 預訓練，即可維持穩定的加速表現，無需昂貴的在線更新。

Results

實驗結果顯示，在 Qwen 系列模型的非同步 RL 訓練中，此方法將 MTP 接受率提升至 95%，推理吞吐量增加 25%。在數學推理、程式碼生成及代理任務中，成功實現了高達 1.8 倍的端到端訓練加速，且能應對各種複雜任務的動態變化。

Significance

這項研究克服了 RL 訓練中 MTP 接受率衰減的理論難題，為大規模 LLM 強化學習提供了高效且實用的加速方案。透過優化推測解碼的接受機制，不僅顯著降低了運算成本，也為未來更高效的模型迭代與後訓練流程奠定了基礎。