Problem

現有的高效少步數擴散模型（如 FLUX.2-klein）在進行直接監督式微調（SFT）時，往往會破壞其原有的少步數推理能力，導致生成效率大幅下降，難以在保持效能的同時學習新知識。

Method

提出 D-OPSD 訓練框架，利用模型編碼器具備的上下文學習能力進行在線自我蒸餾。訓練過程中模型同時擔任老師與學生角色：老師端接收文本與目標影像的多模態特徵，學生端僅接收文本特徵，藉由最小化兩者在自身軌跡上的預測分布差異，達成自我監督學習。

Results

實驗結果顯示，D-OPSD 成功讓模型學習到新的概念與視覺風格，且關鍵在於完全保留了原有的少步數推理特性，克服了傳統微調方法對生成效率的負面影響。

Significance

此研究為高效影像生成模型的持續學習提供了創新路徑，確保模型在不斷適應新任務或風格的過程中，仍能維持其推論速度優勢，對生成式 AI 的實際落地應用具有極高價值。