挖掘多模態大模型潛力：結合 VAE 特徵強化主體驅動影像生成與身份一致性

本研究提出一套結合多模態大型語言模型（MLLM）與 VAE 編碼的新型框架，透過雙層聚合模組與多階段去噪策略，有效解決主體驅動生成中常見的身份偏移與合成痕跡問題，實現更精準的影像生成。

Problem

目前的主體驅動影像生成技術多將文本與參考影像分開編碼，導致跨模態推理能力受限，且容易產生「剪貼感」的不自然合成痕跡；雖然現有的多模態模型框架改進了指令遵循度，卻往往忽略了主體特徵的精確保真度。

本文提出將擴散模型建立在能同時處理文本與影像的多模態大型語言模型（MLLM）之上，並輔以 VAE 身份條件約束。研究設計了「雙層聚合（DLA）」模組來融合多層級特徵，並在推論階段採用「多階段去噪策略」，藉此動態平衡 MLLM 的語義資訊與 VAE 的細節特徵。

實驗證明，該方法能顯著提升生成影像的主體一致性，並有效減少合成中的偽影與剪貼感。在多項評測指標與人類主觀偏好測試中，其生成品質、多模態理解能力以及身份還原度均優於現有的主流模型。

這項研究成功橋接了多模態推理與高保真影像生成，為開發具備強大理解力且能精確維持主體特徵的生成式 AI 提供了關鍵技術路徑，對於需要高度客製化的影像生成應用具有重要價值。