MuseBench：挑戰多模態模型對影視與藝術創作意圖的深層理解力

本研究推出 MuseBench 基準測試，涵蓋電影、藝術與遊戲等領域，透過 4,016 個題目評估多模態模型對創意意圖的推理能力，而非僅止於視覺感知。

Problem

目前的視聽藝術理解研究多著重於多模態大模型（MLLM）的感知辨識能力（如辨認畫面內容），卻忽略了對「創作意圖」的推理。模型難以解釋創作者為何選擇特定的鏡頭語言、敘事節奏或藝術手法，導致其無法真正理解藝術作品中視覺、聽覺與敘事元素交織出的深層意義。

研究團隊開發了 MuseBench 基準測試，包含從 1 萬多支專業影評影片中提煉出的 4,016 個問題，橫跨電影、視覺藝術、舞台表演及遊戲藝術四大領域。該基準採用單選與多選題型，並透過結合捷徑過濾、對抗性干擾項設計與專家驗證的四階段流程，確保題目具備高度推理深度與學術品質。

在對 28 款頂尖 MLLM 進行零樣本評估後發現，即使是表現最強的模型，其準確度也僅為 48.29%，相較於人類專家的 87.18% 有顯著差距。實驗數據顯示，現有模型在處理專業藝術評論中的複雜邏輯與審美判斷時，仍存在嚴重的領域知識欠缺與推理斷層。

MuseBench 填補了當前 AI 評測中缺乏「意圖層次」藝術理解的空白。它不僅證明了單純的視覺感知進步並不等同於藝術鑑賞力的提升，更為未來開發具備創意推理能力、能輔助專業內容創作的人工智慧系統提供了重要的衡量標準與指引。