Avatar V：超越靜態影像，以大規模影片參考實現具備行為特徵的高擬真虛擬數位人生成技術

Problem

現有數位人生成多依賴單張靜態影像，難以捕捉說話節奏、手勢習慣及微表情等個人動態行為特徵。此外，傳統的像素級損失函數無法充分優化對知覺至關重要的面部區域，導致生成結果缺乏個人辨識度與神韻。

Method

開發了 Avatar V 生產級框架，直接對參考影片的全標記序列進行注意力建模，而非壓縮為固定維度的嵌入向量。技術亮點包含：具線性複雜度的「稀疏參考注意力機制」以處理長影片參考、實現說話風格轉移的「運動表示串流」，以及「身分感知超解析優化器」。訓練過程結合 1 億段影片剪輯，並採用流量匹配、個性化微調、蒸餾加速及 RLHF 對齊等五階段流程。

Results

該系統能生成不限時長的 1080p 高畫質影片。在跨場景基準測試中，Avatar V 在身分保留度、對嘴準確度及整體生成品質上，均顯著優於 Seedance 2.0、Kling O3 Pro 及 OmniHuman 1.5 等業界領先系統，並透過蒸餾技術達成 10 倍以上的推論加速。

Significance

本研究突破了從靜態到動態的數位人建模限制，證明大規模影片資料驅動的參考建模能有效還原人物的行為特徵。其工業級的部署能力與卓越的生成效果，為高擬真虛擬數位人在影視製作、遠距溝通與數位內容創作領域樹立了新標準。