提升 Minecraft 遊戲代理人效能：Echo 框架透過維度分解實現多模態 LLM 的經驗遷移

本研究提出 Echo 框架，將 LLM 代理人的經驗分解為五個核心維度，並透過類比學習實現跨任務經驗遷移。實驗證實該框架能顯著提升解鎖效率，並引發爆發性的鏈式學習現象。

Problem

多模態大型語言模型（MLLM）代理人在複雜的遊戲環境中，往往將過往經驗視為靜態的資料紀錄，缺乏將其轉化為可行動知識並遷移至新任務的能力。這導致代理人在面對新情境時，無法有效重複利用已習得的技能，造成學習效率低下且適應力不足。

研究團隊開發了名為「Echo」的遷移導向記憶框架。該框架將知識分解為結構、屬性、過程、功能與交互五個維度，使代理人能識別不同任務間的共通模式。此外，Echo 結合了脈絡類比學習（ICAL）技術，讓代理人能從記憶中檢索相關經驗，並根據當前情境進行動態調整與應用。

在 Minecraft 的實驗中，Echo 框架在「從零開始」的學習設定下，使物品解鎖任務的效率提升了 1.3 至 1.7 倍。更值得注意的是，系統展現了「爆發式鏈式解鎖」現象：當代理人獲得關鍵的可遷移經驗後，能在短時間內連續解鎖多個相似物品，顯示出強大的學習爆發力。

這項研究證實了經驗遷移是提升多模態 LLM 代理人自主性與適應力的關鍵。透過將經驗結構化而非單純儲存，Echo 框架為發展能在複雜、多變的互動環境中高效運作的 AI 代理人提供了具體的實踐路徑。