Problem

隱喻影片在現實中廣泛用於傳達複雜概念,但理解這類影片需要高階認知能力。目前學界缺乏對大型多模態模型(MLLMs)隱喻理解能力的系統性研究,這不僅限制了模型在複雜現實場景的應用,也使研究人員難以準確評估模型的認知水準。

Method

研究團隊開發了首個專注於隱喻影片理解的系統性評測基準 MetaphorVU-Bench。為了解決模型在跨領域映射上的缺陷,團隊另外建構了「隱喻知識圖譜」作為映射增強手段,並提出 MetaphorBoost 推論增強框架,在推論階段優化模型的邏輯關聯過程。

Results

實驗結果顯示,現有的多模態模型在隱喻影片理解上的表現遠遜於人類,核心瓶頸在於跨領域映射能力的不足。然而,透過 MetaphorBoost 框架的輔助,模型在評測中展現出一致且顯著的性能提升。

Significance

這項研究填補了影片隱喻理解領域的空白,不僅提供了具備公信力的評測基準,更透過知識圖譜增強的方法,為未來提升大型多模態模型的高階邏輯推理與跨領域認知能力奠定了重要基礎。