Problem

目前的 AI 代理人雖能處理軟體開發等短期任務，但在面對不確定性高的長程規劃、雜訊環境下的資訊檢索，以及協調多個變數以達成一致目標等真實商業挑戰時，表現仍缺乏嚴謹的評測標準。

Method

研究團隊開發了 CEO-Bench 基準測試，模擬營運一家虛擬新創公司 500 天。代理人需透過 Python 介面自主管理定價、行銷與預算，並分析相互關聯的商業資料庫，將不穩定的市場訊號轉化為可執行的程式化經營策略。

Results

測試顯示多數尖端模型難以應付複雜經營環境。僅 Claude Opus 4.8 與 GPT-5.5 的期末結餘能高於 100 萬美元的初始資金，但兩者皆無法實現穩定獲利。表現較佳的模型雖能撰寫預測程式碼分析現金流，但在長期適應上仍面臨極大挑戰。

Significance

這項研究邁出了衡量 AI 「持續適應與長期演進能力」的重要一步。透過模擬現實世界的 CEO 職責，該基準不僅挑戰了模型的推理極限，也為開發具備高度自主性與策略思維的 AI 代理人提供了關鍵指引。