UniDDT：透過解耦擴散 Transformer 統一多模態理解與生成，突破視覺語意建模瓶頸

UniDDT 創新地結合雜訊 ViT 編碼器與解耦擴散解碼器，解決多模態模型中理解與生成任務間的學習衝突，並透過統一潛在空間提升語意一致性與擴展性。

Problem

現有統一多模態模型（UMM）面臨三大挑戰：首先是視覺理解與生成任務間存在固有的學習衝突；其次是不同的視覺空間阻礙了模型的擴展性；最後則是過度依賴特定任務的資料，忽略了圖文理解與生成之間互補的雙重特性。

提出 UniDDT 架構，利用「雜訊 ViT 編碼器」與大型語言模型（LLM）統一視覺任務的語意編碼，並引入獨立的「擴散解碼器」將擴散解碼過程與文字解碼解耦。透過將潛在空間作為統一的視覺表示，並從相同圖文對建構雙重資料結構，以強化生成與理解任務間的互補性。

實驗結果顯示，UniDDT 在視覺生成任務中取得 GenEval 0.87 分與 DPG 總分 86.9 的優異成績。在多模態理解方面，則於 MME 基準測試獲得 1699.5 分，並在 SEEDbench 取得 76.5 的總分，證明其在兩類任務中皆具備強大的性能。

本研究成功在單一框架內平衡了生成任務的擴展性與理解任務的語意表達能力。這種解耦設計不僅提升了語意一致性，也為開發通用多模態人工智慧提供了一種更有效利用數據雙重性且具備高度擴展性的新途徑。