Problem

現有的潛空間生成系統(如 Latent Diffusion Models)多依賴重建導向的解碼器將潛變數轉回像素。然而,這些解碼器缺乏合成細節的能力,且在處理百萬像素等級的高解析度影像時,運算成本急劇增加,成為生成效率的主要瓶頸。

Method

提出 PiD(Pixel diffusion Decoder),將解碼重新定義為「條件式像素擴散」過程,將傳統的解碼與上採樣(Upsampling)整合為單一生成模組。技術核心包含一個輕量化的 sigma-aware 適配器,用於將帶雜訊的潛變數注入像素擴散骨幹。此外,利用 DMD2 蒸餾技術將推論步驟縮減至僅需 4 步,並支援 VAE 與語義潛空間(如 SigLIP、DINOv2)。

Results

PiD 在 RTX 5090 顯卡上僅需不到 1 秒即可將 512×512 的潛空間影像解碼至 2048×2048 像素,在 GB200 GPU 上更僅需 210 毫秒。相較於傳統串聯式超解析管線,PiD 的速度提升了約 6 倍,且在視覺保真度上表現更佳。

Significance

此研究成功解決了高解析度生成中效率與品質的兩難。藉由統一解碼與上採樣流程,PiD 讓消費級硬體也能實現即時、高品質的百萬像素影像生成,對於未來開發更高效的高畫質多模態模型具有重要價值。