PerceptionDLM：利用多模態擴散語言模型實現高效平行區域感知與圖像描述技術

本研究提出首個基於擴散語言模型的 PerceptionDLM，透過平行解碼技術，大幅提升多區域視覺感知的推理效率，同時保有頂尖的區域描述品質。

Problem

現有的多模態大型語言模型多依賴自迴歸生成方式，在處理需要同時描述影像中多個區域的感知任務時，必須採取序列化處理。這種循序漸進的生成方式嚴重限制了推理效率，難以滿足大規模並行區域感知的需求。

開發了基於擴散語言模型的 PerceptionDLM 框架，利用擴散模型天然的平行解碼特性，引入高效提示詞（Prompting）與結構化注意力遮罩設計。這使得模型能在序列與標記層級同步處理多個區域遮罩，並建立 ParaDLC-Bench 基準測試來評估多區域感知的效能。

實驗證明 PerceptionDLM 在區域描述任務中維持競爭力，並在開源擴散多模態模型中達到領先地位。更重要的是，在處理多區域感知任務時，其推理速度較傳統序列化處理方法有顯著提升，展現了極佳的運算效率。

這是學界首個利用擴散語言模型優勢來實現平行區域感知的成果。該研究突破了自迴歸模型的速度瓶頸，為高效視覺理解與即時感知任務開闢了新路徑，其釋出的程式碼、模型與數據集對後續多模態研究具有重要價值。