Problem

現有大型語言模型（LLM）雖然在即時預測與上下文學習上表現優異，但仍面臨關鍵挑戰：缺乏將短期上下文資訊有效轉化為長期模型參數的能力，且難以在不遺忘舊知識的情況下實現真正的持續學習。

Method

研究團隊受人類學習過程啟發，提出「睡眠」架構。該架構包含兩個核心階段：(1) 記憶鞏固（Memory Consolidation）：透過名為「知識播種」（Knowledge Seeding）的廣義蒸餾與強化學習程序，將小模型的短期記憶整合至大模型；(2) 做夢（Dreaming）：利用強化學習生成合成資料課程進行自我演練，在無人監督下優化模型能力並修正既有知識。

Results

實驗結果顯示，在長時程任務、持續學習、知識整合及少樣本泛化測試中，「睡眠」階段展現出顯著的重要性。該機制使模型能有效擴展儲存容量並穩定保存知識，透過遞迴式的自我修正達成更優異的性能表現。

Significance

這項研究為大型語言模型提供了一套全新的持續學習範式，打破了傳統靜態權重的更新限制。這不僅讓 AI 能夠模仿人類的認知發展過程，也為開發具備自主進化能力與長期穩定記憶的通用人工智慧（AGI）奠定了技術基礎。