Problem

線上模型蒸餾（On-policy Distillation）雖然是訓練學生模型的熱門方法，但存在「離策教師衰減」（Off-policy Teacher Decay）的缺陷。當學生模型生成的早期路徑與教師模型偏好不符時，教師對後續字詞（Token）的糾正能力會大幅下降，甚至退化回預訓練階段的文字補全行為，導致訓練品質受損。

Method

研究團隊提出「提早停止生成」（Early Stopping Rollout, ESR）策略。這是一種簡單卻高效的蒸餾機制，在模型訓練過程中，刻意將學生模型的生成路徑限制在回應的前段字詞。透過這種方式，避開教師模型在長路徑下可能產生的錯誤引導，僅利用高品質的前段訊號來優化模型。

Results

實驗證明，ESR 在各種模型規模、家族與任務中，表現皆優於完整路徑的蒸餾方法。該技術不僅具備極高的 GPU 運算效率與訓練穩定性，研究更發現其背後存在「級聯對齊」與「子模式承諾」效應，使學生模型的表現有時甚至能超越教師模型。此外，這種基於位置的選擇策略，無法單純用 KL 散度或熵訊號來解釋。

Significance

這項研究挑戰了「資訊越多越好」的傳統模型訓練直覺，證明了「少即是多」在模型蒸餾中的潛力。ESR 為大型語言模型的對齊與優化提供了一種更為低耗、高效且穩定的新路徑，特別是在跨模型架構的知識轉移情境下更具優勢。