Problem

目前的具身基礎模型難以同時兼顧從大量視訊學習物理動態(世界模型)以及處理複雜任務的邏輯推理(語言模型)。傳統模型在執行需要長路徑規劃的任務時,往往無法有效整合語義意圖與精細的物理變化,且在缺乏動作標註的跨實體資料上學習效率不彰。

Method

研究團隊開發了 WLA 架構,核心採用自回歸 Transformer 骨幹,而非傳統的擴散模型。該架構包含「世界專家」負責預測物理動態,以及「動作專家」負責生成控制指令。透過元查詢(meta-queries)機制,世界預測能隱含地引導動作生成,並支援在測試階段進行縮放以優化控制精度,同時可直接從無標註的機器人影片中學習。

Results

具備 20 億參數的 WLA-0 原型在 NVIDIA RTX 5090 上僅需 40 毫秒推論時間。實驗顯示,該模型在 RoboTwin2.0 環境達到 92.94% 的成功率,在 RMBench 則為 56.5%,於多任務與長路徑學習指標上均取得 SOTA 領先成績,並證明能從異質實體的影片中習得新技能。

Significance

此研究成功將世界建模、語言推理與動作合成統整於單一架構中,突破了機器人學習對動作標註的依賴,並顯著提升了邊緣運算的推論效率。這為開發能像人類般理解物理規律並執行複雜指令的通用機器人奠定了關鍵基礎。