提高長鏈結 AI 代理人訓練效率：HINT-SD 鎖定失敗關鍵點的後驗自我蒸餾技術

本研究提出 HINT-SD 框架，透過後驗軌跡分析精確鎖定導致失敗的行動片段，僅針對關鍵環節進行回饋導向的自我蒸餾，顯著提升了長鏈結 AI 代理人的訓練效率與任務成功率。

Problem

長鏈結大型語言模型（LLM）代理人在強化學習中常面臨獎勵稀疏的問題，僅能得知最終成敗，卻難以識別哪些中間步驟導致錯誤。現有的逐步回饋方法不僅效率低下，且往往將回饋套用於無關或已成功的步驟，導致監督訊號失準，難以有效校正模型行為。

本研究提出 HINT-SD 框架，採用「針對性後驗自我蒸餾」技術。該方法利用完整執行軌跡的後驗資訊，精確篩選出與失敗結果具高度關聯性的關鍵行動片段，並僅針對這些特定範圍套用回饋導向的蒸餾訓練，而非對所有步驟進行無差別的負擔式訓練。

實驗結果顯示，在 BFCL v3 和 AppWorld 基準測試中，HINT-SD 較傳統的逐步密集回饋方法提升了高達 18.80% 的效能，同時每一訓練步驟的時間縮短至原本的 1/2.26 倍。這證明了精確選取蒸餾位置能兼顧訓練的有效性與計算效率。

本研究揭示了「選擇在哪裡進行蒸餾」是提升長鏈結代理人訓練成效的核心要素。透過減少冗餘監督並精確對齊錯誤點，HINT-SD 為開發更強大、更高效的自主 AI 代理人提供了一套極具參考價值的技術架構，解決了複雜任務中學習訊號模糊的長期挑戰。