TerminalWorld：運用真實終端機錄影自動生成之 AI 代理人效能評測基準

本研究推出 TerminalWorld 資料引擎，從 8 萬多份真實紀錄中自動產出 1,530 個跨 18 類別的終端機任務，發現現有頂尖 AI 代理人於真實工作流中仍面臨顯著挑戰。

Problem

現有的 AI 代理人測試基準多由專家人工編寫，難以精確捕捉開發者在真實終端機環境中面臨的複雜工作流，且無法隨著軟體生態系與開發慣例的快速演進而進行大規模擴展。

開發 TerminalWorld 自動化引擎，對 80,870 份真實終端機紀錄進行逆向工程，產出 1,530 個具備驗證邏輯的任務，涵蓋 1,280 種獨特指令，並從中精選 200 項經人工審核的驗證子集進行深度評測。

在 8 個頂尖模型與 6 個代理人的評測中，最強系統的成功率僅為 62.5%。此外，本基準與現有人工編寫基準（如 Terminal-Bench）的相關性極低（Pearson r=0.20），顯示其任務具備獨特的真實性與挑戰性。

透過自動化引擎確保測試內容的真實性與可擴展性，TerminalWorld 能緊跟開發者實務的轉變，為評估 AI 在真實命令列環境中的操作能力，提供了一個具權威性且能持續進化的基準工具。