Problem
現有的文字引導影像剪輯模型雖擅長風格轉換或物件插入等基礎任務,卻難以應對真實場景中包含多重修改(如同時更換主角、動作與鏡頭視角)的複雜需求。此外,現有評測基準多受限於單一編輯與粗糙的全局指標,無法精準診斷模型在處理多重指令時如何保持時空內容的完整性。
Method
團隊開發了 CoVEBench 基準測試,包含 416 段精選原始影片、626 則多點剪輯指令及 9,990 個細粒度檢查項目。評估架構結合多模態大型語言模型(MLLM)判斷指令達成度與影片忠實度,並搭配自動化指標測量影片整體的視覺品質。
Results
實驗結果顯示,組合式剪輯對現有模型仍是極大挑戰。當多個操作同時進行時,模型經常會遺漏部分指令、違反特定內容保留的約束,或在生成過程中引入明顯的影像瑕疵,顯示目前的模型在處理複雜工作流時穩定性不足。
Significance
CoVEBench 提供了一個具備診斷功能的嚴謹測試平台,能有效模擬真實用戶的剪輯需求。這項研究推動影像剪輯技術從單一特效應用走向實務創作,為開發更精準且符合人類複雜指令的影像生成模型奠定了關鍵基礎。