Problem

現有的多模態大型語言模型（MLLM）評估大多依賴靜態視覺問答（VQA）或特定的模擬器流程，缺乏針對複雜真實任務中「互動式空間推理」的全面測試。這導致研究者難以精確衡量代理人在動態環境中，如何主動獲取視覺資訊並處理實體世界中的空間限制。

Method

開發名為 SpatialWorld 的統一評估基準，整合了八種異質模擬器後端，並採用模擬器無關的通用協定。該基準包含 760 個由人工標註的多元化任務，涵蓋日常家務、旅遊規劃與社交協作等範疇。代理人必須在視覺部分可觀測的情況下，透過第一人稱視角收集證據，並使用 MLLM 原生的文字動作介面執行決策。

Results

對 15 種先進代理人的評估顯示，要在空間任務中取得成功仍具極大挑戰。最強大的模型 GPT-5 的平均任務成功率（TSR）僅為 17.4%，而開源模型領先者 Qwen-3.5 則為 14.1%。研究進一步揭示了任務成功率與執行效率之間的不匹配，以及模型在主動探索與長程規劃上的嚴重瓶頸。

Significance

SpatialWorld 為開發具備實體感知能力的 AI 代理人提供了嚴謹的測試平台。透過量化現有技術在處理現實空間問題時的具體限制，本研究不僅推動了空間推理技術的邊界，更為未來研發具備高度自主性與環境適應力的機器人系統奠定了關鍵基礎。