PhoneWorld：透過真實軌跡自動生成大規模手機代理程式環境，顯著提升模型跨平台操作能力

PhoneWorld 是一個自動化管線，能將手機介面軌跡轉換為可控的模擬環境與任務。透過擴展應用程式覆蓋範圍與自動化驗證，該系統顯著提升了手機操作代理程式在多個基準測試中的效能。

Problem

目前開發手機代理程式（mobile-agent）的主要瓶頸在於，難以大規模建構具備可控性與可重複性的真實行動環境。雖然現有的基準測試有助於評估效能，但它們本身並未提供一種可擴充的方式來大量產出新的測試環境與訓練場景。

Method

研究團隊開發了 PhoneWorld 管線，能將真實的 GUI 軌跡與螢幕截圖轉化為可執行的模擬 Android 應用程式。該系統透過分析介面間的連接邏輯與狀態變更，自動產出對應的執行任務、規則型驗證器及訓練資料。目前版本已涵蓋 34 個應用程式與 16 個領域，包含搜尋、購物、預訂及社交等常見行為。

Results

在固定訓練預算的實驗中，將部分基準資料替換為 PhoneWorld 監督資料後，模型在四項主要基準測試中均展現大幅成長：HYMobileBench 提升 17.7 分、AndroidWorld 提升 14.7 分，而 PhoneWorld 自身測試更提升了 52.5 分。研究進一步發現，擴大應用程式的覆蓋範圍（coverage）比單純增加訓練步數能帶來更顯著的效能增益。

Significance

此研究將行動代理程式的開發重心從「建立單一基準測試」轉向「大規模擴充環境供應」。這套可重複使用的管線為訓練更強大、更具通用性的手機操作 AI 提供了標準化的技術路徑，解決了高品質行動端訓練資料稀缺的問題。