WorldMemArena：引領多模態 Agent 記憶效能評估，深度剖析長期互動與記憶生命週期的全新基準

本研究開發 WorldMemArena 測試集，透過「行動與世界交互迴圈」重新定義多模態 Agent 記憶流程，協助研究者精確診斷記憶寫入、維護與檢索等階段的失效原因。

Problem

目前的基準測試多侷限於靜態對話的記憶召回，或僅能評估單一任務的準確度，且常將複雜的視覺資訊簡化為文字描述。這使得開發者無法定位 Agent 在記憶寫入、維護、檢索或實際應用中究竟在哪個環節發生錯誤，也缺乏統一標準來比較手動設計的系統（如 RAG）與自主管理的記憶機制。

Method

研究團隊將多模態 Agent 記憶建構為「行動—世界交互迴圈」（Action-World Interaction Loop），並分為四個可觀測階段。在此架構下推出 WorldMemArena，包含 400 個跨 session 的多模態任務，涵蓋個人化狀態演化與真實執行環境，並提供金標記憶點、更新紀錄與證據鏈以進行階段性診斷。

Results

實驗顯示，優質的記憶寫入與儲存並不保證最終效能的提升；多模態系統在運用視覺證據方面仍具明顯挑戰。此外，現有系統在不同領域間表現極不穩定，且在真實的代理執行軌跡中效能會顯著退化。自主管理的記憶系統雖然具備靈活性，但成本相對較高且可靠度不足。

Significance

此研究首次實現了對長文本模型、手動設計系統與自主管理記憶 Agent 的同場競技與深度對比。WorldMemArena 提供的診斷能力，能幫助開發者針對性地修補記憶系統缺陷，對開發具備長期自主運作能力的可靠多模態 Agent 具有指標性意義。