AVTok：一維統一標記化技術，實現影音同步生成的全方位多模態解決方案

AVTok 提出創新的單一編碼簿與雙流 Transformer 架構，將音訊與視訊壓縮為一維潛在表示，克服模態間的表現差異與計算瓶頸，並能高效完成高品質影音生成任務。

Problem

現有的影音生成方法多採用雙分支設計，分別對不同模態進行標記化與生成，這導致視聽資訊難以深度同步且存在表徵鴻溝，同時在訓練過程中需要耗費極大的運算資源。

提出名為 AVTok 的統一標記器，採用共享編解碼器的雙流 Transformer 架構，並結合特定模態的學習查詢（queries）。為了解決不同模態間資訊量不平衡的問題，設計了階層式訓練策略，循序漸進地實現各模態的重建能力，將影音對轉換為一維的緊湊潛在表示空間。

實驗結果顯示，AVTok 在影音重建效能上表現卓越。當整合至下游模型時，在音訊轉影片（A2V）、影片轉音訊（V2A）以及類別條件下的聯合影音生成任務中，均展現出優異的生成品質與同步性。

這項研究成功克服了聯合影音標記化的技術挑戰，為開發統一的大型影音多模態模型（LMM）奠定基礎，大幅簡化了處理跨模態數據的複雜度，並提升了生成內容的語義一致性。