Problem

傳統世界動作模型（WAM）多依賴預測未來 RGB 影像，但 RGB 資訊難以精確捕捉幾何、語義與運動特徵。如何在模型中有效整合多樣化的視覺模態（如深度圖或點軌跡），並優化其與動作預測之間的關聯性，仍是目前機器人學習領域的一大挑戰。

Method

本文開發了 ModAR，這是首款在預測動作前先對多個未來模態進行自迴歸去噪（Autoregressively Denoise）的世界動作模型。這種架構讓後續的預測能以前置生成的模態為條件。研究團隊透過從零開始訓練，系統性地分析了訓練資料配比與預測模態對系統效能的影響。

Results

研究顯示，預測點軌跡、DINO 特徵與深度圖能顯著增強模型效能，而額外預測 RGB 則不具備一致的效益。ModAR 的序列生成機制在各類資料規模下均優於現有架構。與經過大量預訓練的 Flex-π 相比，ModAR 在無需預訓練的情況下，僅耗費約 1/20 的運算量（FLOPs），即在多項任務中取得更高的平均成功率（75% vs 72%）。

Significance

這項研究證明了多模態生成在具身智能決策中的重要性，並提出一個高效能的架構，打破了世界模型必須依賴高成本預訓練與龐大運算資源的局限，為開發更精準且輕量化的機器人自主系統提供了新的技術路徑。