Problem

目前的多模態大型語言模型（MLLM）雖然在短片辨識表現優異，但缺乏像人類一樣在長影片中持續追蹤實體、狀態與事件的能力。現有評測指標多針對單一影格或簡短片段，難以有效診斷模型在複雜動態情境下的視覺理解力。

Method

研究團隊開發了 VSTAT（Visual STAte Tracking）基準測試，包含 834 段取自合成與真實場景的影片，並設計 1,500 個必須整合整段影片資訊才能回答的問題。此外，透過分析模型的思考軌跡（thinking traces），將其與視覺流進行對比，藉此找出模型在追蹤任務中失敗的具體環節。

Results

實驗顯示頂尖 MLLM 在 VSTAT 上的表現僅略高於答案先驗（answer-prior）基準值，且遠低於人類水準。深入分析發現，模型雖然具備正確的文本推理與追蹤邏輯，卻無法準確地從視覺上感知並捕捉需要追蹤的事件。即便採用最新的代理人（Agentic）架構，仍難以克服這項視覺感知的連貫性瓶頸。

Significance

此研究填補了影片理解評測的空白，明確指出當前 MLLM 的核心限制並非推理能力不足，而是視覺感知系統在時間軸上的連貫性缺陷。這為未來開發具備長程視覺追蹤能力的新一代多模態模型提供了重要的基準與改進方向。