Problem

雖然語言代理透過複用模型生成的技能(結構化程序物件)來提升效率,但目前學界對技能生命週期——包含生成、萃取與應用——缺乏系統性的研究。這使得開發者難以判斷這些自動生成的技能何時有效、為何失敗,以及不同模型間的技能遷移機制。

Method

研究團隊建立了一個以效用為導向的評估框架,涵蓋五種多元的代理任務領域,並對不同的萃取器與目標代理進行交叉實驗。研究深入剖析了經驗組成如何影響技能品質、有用技能的特徵,以及同一技能在不同消費者間的遷移表現。最後,將發現轉化為一種「元技能」,用以引導萃取過程。

Results

實驗顯示,模型生成的技能平均而言對效能有益,但也存在顯著的負遷移現象。研究發現萃取能力與應用能力並不對等:強大的萃取模型未必是強大的技能使用者,且技能效用與模型規模或基準任務能力無直接關聯。所提出的元技能方法能有效鎖定與效用相關的特徵,顯著提升各領域的技能品質並減少負遷移。

Significance

這項研究填補了 AI 代理技能研究的空白,揭示了影響技能效用的核心關鍵要素。透過對技能生命週期的深度解構與實證,不僅為未來開發更穩定、具備自主學習能力的智慧代理提供了理論依據,也為解決模型效能不穩定與負遷移問題提供了具體的優化方向。