Problem
現有的文字轉影片技術在精確 3D 空間編排上面臨挑戰,特別是多物件場景中,語義佈局與時間動態往往相互糾纏。雖然現有深度條件模型具備結構保真度,但需要逐影格的高強度人工標註,難以應對涉及變形物件的複雜動態事件。
Method
提出 LooseControlVideo 框架,改用稀疏且具方向性的 3D 方塊作為「排戲(blocking)」代理工具。此方法微調了 Wan 2.2 基底模型,並結合創新的 DNOCS 編碼技術,精確描述 3D 尺寸、方向與深度排序遮擋,讓使用者能直觀設定高階佈局與運動軌跡,同時由生成模型處理真實的遮擋與互動。
Results
在 nuScenes、HO-3D 和 BEHAVE 等基準測試中,該方法顯著優於現有 2D 框架。實驗顯示其在軌跡誤差改善了 1.2 至 3 倍,剛體運動一致性提升 2 倍,遮擋準確度則提高 1.5 至 2 倍,證明 3D 原始形狀能為複雜影片創作提供優異的幾何先驗。
Significance
這項研究簡化了複雜多代理人影片的製作流程,讓使用者能以極低成本進行局部修正(如調整跳躍軌跡或新增互動),同時保留全域場景的脈絡與真實感,為專業視聽創作提供了更強大且直覺的導演式控制能力。