PAIWorld：為機器人操控打造具備 3D 空間一致性的多視角世界模型

PAIWorld 結合幾何感知注意力和 3D 特徵蒸餾技術，解決了傳統世界模型在多視角下的深度不一與漂移問題，大幅提升機器人操作的空間一致性與規劃效率。

Problem

目前的世界基礎模型（WFM）主要針對單一視角設計，在處理機器人所需的多攝影機資訊時，常因缺乏明確的幾何推算，導致不同視角間出現物件漂移、深度不一致及貼圖對齊錯誤，無法滿足機器人操作所需的空間精準度。

該研究提出 PAIWorld 架構，透過「幾何感知跨視角注意機制」建立視角間聯繫，並利用「幾何旋轉位置嵌入（G-RoPE）」將相機射線方向與外參編碼至模型中。最後結合「潛在 3D-REPA」技術，從 3D 基礎模型蒸餾出具備空間感知的特徵。

在機器人操控評測中，PAIWorld 於 WorldArena 榜單奪冠，並在 AgiBot-Challenge2026 取得第二名。實驗證明該模型能有效支援基於模型的規劃（Model-based Planning）與多視角策略後訓練，顯著優於現有的多視角模型。

本研究成功彌補了 2D 擴散 Transformer 與 3D 物理世界需求間的鴻溝，為多視角機器人學習提供了具備高度空間一致性的模擬環境，是推動具身智慧（Embodied AI）精準操縱的重要突破。