Problem

結構化剪枝雖然能有效壓縮大型語言模型（LLM）的體積，但在實際部署所需的「自由生成」任務中，模型常會陷入無限重複後綴的崩潰狀態。研究發現，有用資訊並未因剪枝被刪除，而是因機率順位下降導致貪婪解碼失敗，傳統的蒸餾方法在處理這類長文本生成時，往往將大量訓練資源浪費在無意義的重複片段上。

Method

本研究提出 ShortOPD，一種「由短至長」的在線策略蒸餾（On-Policy Distillation）排程方法。該技術會自動偵測教師模型確認的重複後綴，將剩餘的有效前綴視為當前生成長度，並動態地將未來的運算預算分配給模型目前能有效處理的長度範疇，避免早期訓練在低資訊量的重複序列中空轉。

Results

在數學、程式碼與開放式生成測試中，ShortOPD 將剪枝後的模型得分提升至未恢復前的 9 倍，表現優於標準 SFT 與 SeqKD 等傳統方法 1.6 至 4.4 倍。此外，ShortOPD 僅需四分之一的訓練時間（8.5 小時對比 35.9 小時）以及減少 71% 的 Token 消耗，即可達到與固定 8192 Token 長視窗訓練相近的效能。

Significance

此研究成功打破了結構化剪枝在基準測試與實際應用間的鴻溝，證明透過高效的 Token 級監督與動態長度排程，可以讓壓縮後的模型不僅具備困惑度（Perplexity）上的優勢，更能勝任高品質的部署級生成任務。