Problem

預訓練影片生成模型雖具備世界模型潛力,但因過度依賴詳細文本描述,難以直接應用於決策。現有解決方案若非將推理功能外包給其他模型,就是必須依賴成本高昂且難以擴增的任務執行影片標記資料。

Method

提出一種結合自我蒸餾與強化學習的可擴展框架。首先利用視覺語言模型(VLM)生成任務與步驟方案,引導「演示者」模型產生影片,再將其行為蒸餾至僅需短指令的「執行器」。最後藉由 VLM 的回饋進行強化學習,利用「評分易於生成」的特性優化執行表現。

Results

實驗顯示,該「執行器」在 WorldTasks-Benchmark 與 DreamGen 機器人基準測試中,表現均優於原始「演示者」模型,並在機器人任務遷移上展現出強大的競爭力。

Significance

此方法突破了大規模任務影片資料蒐集的瓶頸,展示如何利用生成模型內在的知識進行自我進化。這對於開發具備物理理解與通用執行能力的自動化視覺代理人,提供了一條具備擴展性的全新路徑。