透過多目標強化學習優化大語言模型預訓練：Holistic Data Scheduler 實現效率與性能的雙重提升

本文介紹 HDS 框架，利用多目標強化學習技術動態優化 LLM 預訓練資料組合。透過整合資料品質與模型狀態，HDS 成功提升訓練速度 44% 並強化模型推論表現。

Problem

目前的線上資料混合技術（Online Data Mixing）受限於單一優化視角，無法在複雜的大型語言模型（LLM）預訓練過程中，有效處理來自多個維度的動態資料組成需求，導致訓練效率與模型最終效能難以達到最佳化。

研究提出「全方位資料排程器」（Holistic Data Scheduler, HDS），將資料排程轉化為連續控制空間中的強化學習問題，並採用 SAC 演算法確保探索高維策略空間時的穩定性。其核心在於整合了資料品質、領域間損失影響力及模型權重範數的多目標獎勵函數。

實驗證明，在 The Pile 基準測試中，HDS 僅需減少 44% 的訓練迭代次數，即可達到次佳方法之驗證困惑度（Perplexity）。此外，在 MMLU 零樣本任務上提升了 7.2%，並在其他多項評測基準上皆展現出一致的效能增長。

此研究突破了傳統固定資料比例或單一目標優化的限制，不僅大幅降低了預訓練大型語言模型所需的算力成本，更證明了透過動態資料排程能顯著強化模型的語言理解與推論能力。