Problem

現行視覺語言模型（VLM）在處理密集的影片影格與長提示詞時，面臨極高的運算延遲與 API 成本。此外，多模態代理人的架構在部署後往往過於僵化，難以根據環境反饋進行動態調整，且現有的影片問答基準測試，無法有效評估代理人在工具使用場景中運用視覺證據的能力。

Method

研究團隊開發了 VisualClaw 框架，核心包含兩大技術：一是「混合編碼」，利用串接閘道（Cascaded Gate）過濾低資訊量的串流影格，並透過冷熱 Top-k 注入技術壓縮技能庫；二是「技能演化」，使代理人能從失敗記憶中汲取經驗，將檢索到的資訊轉化為引導證據，藉此動態更新技能庫以優化未來的任務執行。

Results

實驗顯示，VisualClaw 在多個影片問答測試中表現優異。相較於全影格上傳，API 成本平均銳減 98%，並在 EgoSchema 測試中提升了最高 15.8% 的準確度。針對一小時的即時串流工作流程，該框架能將 API 上傳次數從 3,600 次大幅縮減至 5 到 20 次，顯著提升了運作效率。

Significance

VisualClaw 的低成本與自我演化特性，使其成為邊緣運算（Edge Applications）的理想解決方案。這項研究不僅克服了即時視覺感知的成本障礙，更為開發能持續學習、隨著使用者環境不斷進化的長效型個人化 AI 助理奠定了關鍵技術基礎。