探究領域專家模型中的潛在推論：在無顯式軌跡指導下優化模型蒸餾與泛化權衡

本研究探討當專家模型僅以問答對訓練時，其潛在推論軌跡如何影響蒸餾。發現專家模型的參數微調策略會直接形塑下游學生的專業度與泛化能力，並揭示了兩者間的高度關聯性。

Problem

在缺乏顯式推論軌跡監督（Gold reasoning）的情況下，僅透過問答對（QA pairs）訓練的領域專家模型，其內部產生的潛在推論過程如何被決定，以及這些過程如何影響知識蒸餾的效果，目前仍缺乏深入的理解。

研究團隊將「學生模型蒸餾」視為一種診斷工具，用以觀察專家模型的潛在分布。透過 27 組專家與學生的配對實驗，跨足化學、物理及多語言領域，藉由控制專家模型的分布偏移（Distributional drift），測試其如何影響下游學生模型在專業領域與通用能力間的表現。

實驗揭示專家與學生模型的「專業化與泛化」特徵具有極強的相關性。透過控制專家的分布漂移，能系統性地調整模型在領域精確度與通用能力保留之間的權衡（Trade-off），且此現象在不同模型家族間均能穩定呈現。

這項研究重新定義了領域專家模型的訓練觀點：在缺乏推論軌跡資料時，微調策略的選擇會直接決定傳遞給下游學生的「潛在監督」內容。這為開發者在建立特定領域模型時，提供了精準控制模型能力權衡的關鍵指導原則。