PACE：低成本預測大型語言模型代理能力的高效框架，將評估成本降至百分之一

本研究提出 PACE 框架，透過篩選非代理型基準測試中的關鍵題目，精準預測 LLM 在複雜代理任務上的表現，成功在節省 99% 成本的同時維持高準確度的模型排序與性能估計。

Problem

目前評估大型語言模型代理（Agentic）能力的基準測試（如 SWE-Bench 或 GAIA）極其昂貴且耗時，單次測試往往需要耗費數千美元並持續數天，且需依賴複雜的基礎設施。這種高昂的評估成本嚴重阻礙了開發者在模型迭代、篩選及路由過程中的效率。

研究團隊開發了 PACE 框架，旨在利用低成本的非代理型基準（如推理或程式碼生成測試）作為代理指標。該框架結合「目標相關性局部選擇」與「全域資訊性選擇」兩大策略，從原子能力測試中精選出關鍵題目子集，並透過回歸模型建立其與複雜代理任務得分之間的映射關係，進而建構出 PACE-Bench 評測集。

針對 14 個模型與 4 個主流代理基準測試的實驗顯示，PACE-Bench 的預測準確度極高，其平均絕對誤差（MAE）低於 4%，Spearman 相關係數超過 0.80，模型排序準確率達 85%。最顯著的是，達成這些結果所需的運算成本與資源僅不到完整代理評估流程的 1%。

這項研究為模型開發者提供了一種具備高度成本效益的替代方案。PACE 讓開發者能在不具備龐大運算資源的情況下，即時獲取可靠的模型代理能力預估值，不僅加速了 AI 代理技術的研發週期，也為理解不同代理任務所需的底層技能提供了量化分析工具。