Problem

電腦操作代理程式不僅能生成文本,還能與檔案、終端機及瀏覽器互動。現有的安全機制多針對單一指令進行審查,然而許多危害往往隱藏在連續的操作軌跡中,單獨看每一動作似乎無害,合併執行卻會產生嚴重威脅。傳統基於靜態基準的防護模型難以偵測這類動態且多步驟的執行風險。

Method

研究團隊開發了 BraveGuard 框架,這是一種自我進化的防禦系統。該框架會從最新的研究文獻中挖掘新興風險與攻擊模式,將其轉化為可執行的電腦任務,並收集代理程式的實際操作軌跡。接著,系統會生成軌跡層級(trajectory-level)的監督資料來訓練防護模型(如 Qwen3-Guard 和 Llama-Guard 變體),形成一個能隨新威脅出現而持續更新的循環防禦機制。

Results

實驗結果顯示,BraveGuard 顯著提升了對電腦操作軌跡的安全偵測能力。在 AgentHazard 基準測試中,偵測準確率從現有現成模型的 38.79% 大幅提升至 82.38%。這證明了結合開放世界威脅發現與真實執行軌跡的監督機制,其效能遠優於固定的分類法或單純的提示詞層級資料。

Significance

此研究為應對現實世界演進風險的電腦操作代理程式,提供了一條具備擴展性且可動態調整的防禦路徑。透過將防禦重點從單點指令轉向整體的執行軌跡監控,BraveGuard 為開發更安全、更具魯棒性的自主人工智慧系統提供了關鍵的技術支撐。