Problem

現有的 GUI 代理人大多在模擬環境或離線軌跡中訓練，難以處理真實手機應用中複雜的介面佈局、互動邏輯，以及帳號權限、支付驗證與風險控制等異常狀態。這種環境上的差異，導致現有模型在標準基準測試的高分與實際環境下的可用性之間存在巨大落差。

Method

研究團隊開發了以實體裝置為主、沙箱為輔的混合基礎架構，確保資料蒐集與訓練分佈貼近真實部署場景。技術核心包含建構涵蓋長尾意圖的多源訓練資料、引入「錯誤驅動資料飛輪」來修正失敗軌跡，並透過監督式微調（SFT）、步驟級強化學習與代理人強化學習進行三階段模型優化。

Results

Xiaomi-GUI-0 在自建的 RealMobile 測試中達成 72.0% 的成功率，並在 AndroidWorld 取得 78.9% 的佳績。相較於現有模型，它在處理真實世界任務時展現出更高的執行穩定性，並能更有效地識別與應對行動端介面中的各種異常狀態。

Significance

此研究成功縮小了實驗室指標與真實應用之間的性能鴻溝。透過實體裝置閉環訓練與創新的資料增強機制，該模型為開發具備高度可靠性、能處理複雜現實邏輯的原生多模態行動助理提供了關鍵的技術框架。