校準驗證遙測 CalVerT：優化 AI 代理程式在知識密集任務中的行動與學習效能

CalVerT 透過整合校準信心度與驗證遙測數據，解決 LLM 代理程式過度自信或冗餘檢索的問題，在顯著提升問答準確率的同時，還能有效節省運算成本並強化學習成效。

Problem

大型語言模型代理程式在處理知識密集型問答時，往往難以判斷現有資訊是否足以回答問題。這會導致兩大失效模式：一是對無根據的答案過度自信，損害回答準確性；二是即使手頭證據已足夠仍持續檢索，造成不必要的運算資源浪費。

本研究提出「校準驗證遙測」（CalVerT）技術，透過在代理程式的狀態空間中增加額外的遙測指標來解決此問題。這些指標包含「校準後的自我信心評分」以及「落地驗證評分」，讓代理程式能精確感知其推理狀態與證據的完整性。

在四項問答基準測試中，CalVerT 有效提升了 F1 分數。它能在代理程式過度依賴內建參數知識時準確觸發檢索，並在資訊充足時果斷停止冗餘操作。實驗證明 CalVerT 既能無痛整合至現有架構，亦能在強化學習訓練中顯著優於傳統無遙測指標的系統。

此研究為解決知識密集型任務中的效率與可靠性問題提供了創新路徑。透過強化代理程式對自身狀態的感知，CalVerT 成功平衡了模型表現與運算成本，對於開發更具經濟效益且精確的 AI 決策系統具有高度實務價值。