Problem
擴散模型雖在生成式人工智慧領域表現優異,卻常產生不符真實數據分佈的「幻覺」影像,損害了模型的可靠性。過去研究假說認為這與評分函數(score function)過於平滑有關,但長期缺乏嚴謹的理論證明與量化分析來解釋幻覺產生的機制。
Method
研究團隊正式建立了幻覺機率與評分函數利普希茨常數(Lipschitz constant)之間的理論關聯。基於此發現,他們開發了「變異引導分數調製」(VSM)策略,透過動態控制分數雅可比矩陣(score Jacobian)來抑制過度平滑現象,使模型能更精準地模擬真實數據的評分分佈。
Results
在合成與真實資料集的實驗中,VSM 成功降低了最高達 25% 的幻覺發生率,且在減少錯誤生成的同時,仍能維持影像的高保真度與多樣性。此外,團隊還發布了兩個具備極端語義變化的基準資料集,專門用於系統性評估擴散模型的幻覺問題。
Significance
此研究為解決擴散模型的幻覺問題提供了堅實的理論支撐與實踐工具。藉由有效減少不合理影像的生成,這項技術有助於提升生成式 AI 在醫療影像、工業設計等高品質需求領域的信任度,是邁向可靠影像生成技術的重要里程碑。