Workflow-GYM：挑戰專業領域長流程任務，評測 AI 代理人操作專業軟體之能力的新標竿

本研究提出 Workflow-GYM 基準測試，專注於評估 AI 代理人在專業軟體中執行長流程、高價值任務的能力，填補了現有測試缺乏領域特殊性與端到端複雜度的空白。

Problem

現有的圖形使用者介面（GUI）基準測試多集中於通用軟體或簡短任務，難以評估 AI 代理人是否能自主操作專業領域的特殊軟體，並以端到端的方式完成具備高經濟價值的長流程工作項目。

推出 Workflow-GYM 評測框架，針對多個專業領域建構長流程 GUI 任務環境。該基準要求代理人必須根據使用者指令，在模擬的專業軟體介面中執行跨階段操作，藉此測試模型在真實職場環境下的任務執行力。

實驗結果顯示，即便是目前最強大的模型在該測試中的成功率也僅略高於 30%。分析發現，代理人普遍面臨流程步驟遺漏、錯誤連鎖反應、目標偏離，以及對專業軟體環境理解不足等問題，難以維持長期的工作流一致性。

本研究不僅揭示了現行 AI 代理人在處理專業複雜任務時的關鍵缺陷，更為下一代 GUI 代理人的研究提供了明確方向，強調未來系統需提升對特定領域軟體的認知與長流程任務的穩定度。