Problem
人形機器人的全身移動操作極度依賴大規模示範資料。然而,現有的實機遠端操作雖然軌跡品質優異,卻受限於物理空間需求、硬體維護成本與場景重置的高難度,導致資料規模難以擴展;而傳統模擬資料則常因缺乏真實感,導致訓練出的策略難以直接應用於現實世界。
Method
提出 OASIS 模擬資料驅動框架,首先利用 3D 生成模型從真實影像自動重建擬真的物件資產。接著,在模擬環境中透過遠端操作收集運動軌跡,並於後處理階段施加廣泛的網域隨機化(Domain Randomization)。最後,設計一套階層式視覺運動策略(Hierarchical Visuomotor Policy),將處理好的模擬資料轉化為人形機器人的全身控制能力。
Results
在實體人形機器人的零樣本(Zero-shot)部署實驗中,使用 OASIS 模擬資料訓練的策略在多項任務上的成功率皆超越了使用實機採集資料的傳統方法。這主要歸功於模擬環境能產生極其豐富的光影變化與場景差異,捕捉到實機操作中難以涵蓋的環境變異性。
Significance
此研究證明了高品質且具備多樣性的模擬資料,在解決複雜的人形機器人控制問題上具有取代實機示範的潛力。這為未來大規模自動化機器人學習提供了一套低成本且高效的解決方案,有效克服了實體資料採集的瓶頸。