掌握環境感知的檢索行為：透過強化學習優化檢索增強生成（RAG）的查詢策略

本研究揭示不同檢索器對查詢策略的需求存在顯著差異，並透過強化學習成功訓練大型語言模型（LLM）根據特定檢索器的特性，自動優化查詢生成方式，進而大幅提升 RAG 系統的效能。

Problem

現有的檢索增強生成（RAG）研究往往忽略了不同檢索器對查詢描述（Query Formulation）的偏好差異。若使用單一且通用的查詢方式，往往無法發揮特定檢索器的最佳效能，限制了系統處理複雜問題的能力。

研究團隊首次採用強化學習（RL）系統化分析大型語言模型（LLM）如何適應不同的檢索器。開發過程中導入了檢索器特定的專家引導與擴展模型規模，並設計「分支式展開（Branching-based Rollout）」技術，以穩定多步驟檢索路徑中的模型訓練。

實驗顯示不同檢索器偏好的查詢風格迥異，例如某些偏好敘述型，某些則偏好提問型。強化學習能讓模型精準學習這些特性，且在某款檢索器上學到的策略往往無法直接套用到另一款，證明了環境感知（Environment-aware）的必要性。

此研究為建構具備檢索器感知能力的 RAG 系統提供了首個實證證據與實務指南。這不僅優化了資訊檢索的精準度，也為未來開發更具靈活性與效率的 AI 生成系統奠定了重要基礎。