SkillCoach：透過自我演進評分表優化大型語言模型 Agent 的技能運用與流程評估

本研究提出 SkillCoach 框架，利用自我演進的評分表，從技能選擇、遵循、組合與反思四大維度精準評估 Agent 的執行過程，解決傳統僅看最終結果而忽略中間錯誤的問題。

Problem

現有的大型語言模型（LLM）Agent 在面對功能重疊的技能庫時，難以保證操作的可靠性。傳統評估方法僅依賴最終結果（Outcome），無法識別 Agent 是否透過盲目試錯、略過必要步驟或錯誤組合流程而「意外」達成任務，導致評估訊號過於粗糙，且無法為訓練提供有效的過程監督。

研究團隊開發了 SkillCoach 框架，能從實際執行過程（Rollouts）中自動生成並持續演進「技能評分表」（Process Rubrics）。該框架從技能選擇、技能遵循、技能組合及根植於技能的反思等四個維度進行細粒度評估，將過程品質與最終任務結果分離，藉此提供更精確的診斷訊號。

實驗結果顯示，演進後的評分表能顯著提升評估品質，有效揭露隱藏在最終成功率下的失敗細節。與傳統僅靠結果導向的篩選機制相比，SkillCoach 提供的過程監督訊號能更有效率地篩選高品質訓練資料，進而強化 Agent 在複雜場景下的技能運用能力。

此研究為 Agent 的訓練與評估提供了一套全新範式，將焦點從單純的「任務是否完成」轉向「操作流程是否正確」。這對於建構具備高度可靠性、嚴謹遵循領域規則及標準作業程序（SOP）的專業化 Agent 系統具有重要的實踐價值。