MemTrain：透過自監督學習強化 LLM 記憶能力，顯著提升長程代理程式推理效能

MemTrain 是一個自監督訓練框架，透過維基百科語料庫的遮罩重建與中間記憶回溯兩大代理任務，有效強化大型語言模型的背景記憶能力，顯著提升長文本推理表現。

Problem

長程大語言模型（LLM）代理程式在長時間互動中需具備強大的記憶能力。然而，現有方法多依賴高成本的人工標記資料進行強化學習，且因訓練樣本缺乏多樣性，難以涵蓋通用的記憶行為。

提出 MemTrain 自監督框架，利用無標記的維基百科語料庫進行訓練。該框架包含兩項代理任務：一是「端到端遮罩重建」，要求模型在多輪更新後復原實體；二是「中間記憶回溯」，利用中間記憶狀態重構歷史資訊，並結合 GRPO 演算法進行聯合優化。

在長文本問答（Long-text QA）與搜尋型問答基準測試中，MemTrain 穩定提升了下游任務的推理性能。與直接進行特定任務的後訓練相比，其最高可將準確度提升達 17.67 分。

此研究為 LLM 代理程式提供了一套不依賴昂貴標記資料的記憶強化方案。透過自監督學習通用的記憶行為，MemTrain 顯著增強了模型在複雜、長距離互動場景中的資訊處理效率與精準度。