UP：打破大語言模型強化學習的穩定性瓶頸，以非對稱優化釋放推理探索潛能

本研究提出「無界正向非對稱優化（UP）」，透過非對稱設計，在確保訓練穩定的同時，釋放正向優勢的更新預算，大幅提升大語言模型在複雜推理任務中的探索效率。

Problem

現有的強化學習框架在大語言模型訓練中面臨「探索與穩定性」的兩難。傳統的截斷機制（Clipping）雖然能防止模型崩潰，卻也嚴格限制了政策更新的預算。這導致模型在面對正確但目前信心度較低的推理路徑時，會因為截斷機制而過早停止學習，造成探索能力窒礙，難以達成更深層的邏輯推理。

Method

研究團隊開發了 UP（Unbounded Positive Asymmetric Optimization）目標函數，這是一種隨插即用的通用增強方案。該方法透過 Stop-gradient 運算子將政策錨定於當前狀態，並採非對稱設計：對於能帶來正向回饋的「正向優勢」不設截斷，以完全釋放探索潛能；對於「負向優勢」則保留標準截斷機制以維持訓練穩定。此架構可廣泛應用於 Token 級（如 GRPO）與 Sequence 級（如 GSPO）的優化框架。

Results

廣泛的實驗顯示，UP 顯著提升了多種演算法（如 DAPO、GSPO、GRPO）在複雜推理任務中的表現。無論是在 Dense 或 MoE 架構，甚至是視覺語言模型中，UP 均展現出更強的探索能力與更高的推理準確度，證實其在純文字與多模態訓練中皆具有優越且穩定的增益效果。

Significance

此研究解決了強化學習中保守截斷機制對模型成長的束縛，為提升大語言模型的邏輯推理能力提供了新的理論基礎。其「隨插即用」的特性與跨架構的通用性，使其成為現今大規模模型強化學習訓練中，極具實踐價值的優化方案。