Problem

現有文字生成圖像(T2I)模型在處理複雜的組合性指令時,往往難以精確呈現多重屬性綁定、物件間的空間關係以及正確的物件數量,導致生成影像與文字描述之間存在落差。

Method

研究團隊開發了 BiDPO 框架,包含三大核心:第一,建構具備嚴格品質控管的大規模偏好資料集 BiComp;第二,擴展 Diffusion DPO 技術,達成影像與文字偏好的雙模態同步優化;第三,導入區域層級引導(Region-level Guidance),強化模型對特定視覺區域與組合概念的對齊能力。

Results

實驗結果顯示,BiDPO 在多項基準測試中均穩定超越現有技術,大幅提升了圖像生成的組合保真度。該模型能更準確地執行複雜指令,有效解決了過往模型容易混淆物件屬性或數量的問題。

Significance

這項研究證明了偏好微調(Preference-based Fine-tuning)在複雜 T2I 任務中的強大潛力,為追求高精度語義對齊的圖像生成模型,提供了一套既靈活且具備擴充性的創新技術路徑。