TableVerse：以 Real2Sim 技術重建十萬組真實桌面環境，奠定通用型機器人操控的研究基石

本研究推出 TableVerse 框架，能將網路影像自動轉化為具備物理一致性的擬真模擬環境，並釋出包含十萬組環境與操作軌跡的數據集，顯著提升機器人學習的泛化能力。

Problem

開發具備泛化能力的機器人操作策略，極度依賴大規模且高品質的場景資料。然而，現有的自動合成方法多半依賴文字生成佈局或簡化的程序化生成，往往缺乏物理合理性，且難以捕捉真實人類環境中複雜且密集的雜物分佈，導致模擬與現實之間存在巨大鴻溝。

本研究提出 TableVerse 全自動 Real2Sim 流水線，將非結構化的網路影像重建為具備精確比例、真實拓撲結構與機械穩定性的模擬環境。該框架整合了自動化任務條件軌跡生成技術，能自動合成高品質且無碰撞的抓取與放置動作示範，實現從影像到模擬環境的無縫轉換。

研發團隊成功建構了 TableVerse-100K 數據集，其中包含 10 萬個物理一致的獨特桌面環境，並配對了互動式操控軌跡。該數據集涵蓋了極其多樣的物體組合與真實的空間分佈，證明了此自動化流程在生成高保真、大規模訓練資料上的卓越效率。

TableVerse 改變了以往憑空想像場景佈局的範式，改為從真實世界影像中提取確定性的重建結果。這為通用型機器人操控任務提供了一個具備高度擴展性且高保真的數據基礎，對於推動機器人在複雜現實環境中的應用具有重要貢獻。