提升電腦操作代理人效能：ProCUA-SFT 透過 310 萬筆合成資料解決負向遷移問題

Problem

現有的大規模真人操作軌跡資料集（如 AgentNet）在進行監督式微調（SFT）時，常導致模型在 OSWorld 等基準測試中的成功率從 26.3% 劇降至 8-10%。這種「負向遷移」現象顯示真人資料的雜訊與多樣性不足，已成為發展高效能電腦操作代理人（CUA）的主要瓶頸。

Method

開發團隊建立了一套全自動化管線，從 2,484 種應用程式組合中生成 9.3 萬條合成軌跡，並轉化為 310 萬個步驟級 SFT 樣本。該方法採用 Kimi-K2.5 單一模型同時擔任任務生成、先決條件判定與軌跡執行者，並匯入 SpreadsheetBench 與 Zenodo10K 等真實世界的試算表與簡報內容作為任務種子。此外，透過步驟前綴（step-prefix）取樣技術，確保訓練與推理時的環境配置完全一致。

Results

將 UI-TARS 7B 模型在 ProCUA-SFT 上微調一個 epoch 後，其在 OSWorld 基準測試的成功率達到 45.0%，相較於基礎模型提升了 18.7 個百分點，效能比使用 AgentNet 訓練的模型高出 35% 以上。此資料集的部分內容也成功整合至 Nemotron 3 Nano Omni 模型中，顯著強化其電腦操作能力。

Significance

這項研究證實了高品質、大規模的自動化合成資料可以有效克服真人資料的限制，為建構具備強大桌面自動化能力的視覺語言模型（VLM）提供了一套具備擴展性的訓練範式，對於提升 AI 代理人在複雜作業系統環境中的實用性具有重要貢獻。