Problem
非英語視覺語言模型在理解真實文件圖表時，缺乏高品質且具規模的評測基準。由於難以大量蒐集具備多樣性且真實的非英語圖表影像，導致難以評估現有模型在跨語言情境下的通用性，這成為視覺語言模型進步的一大阻礙。
Method
研究團隊利用可自由獲取的政府白皮書作為穩定且具規模的資料來源，建構了名為 HakushoBench 的評測基準。該基準包含源自 33 份白皮書的 2,053 張影像，涵蓋超過 10 種圖表與表格類型，並由人工標註高品質的問答對，旨在評估模型對圖表的深度與整體理解力，而非僅依賴局部視覺線索。
Results
實驗結果顯示，當前開源模型在 HakushoBench 上的表現仍顯不足，最高準確率僅 58.6%。開源模型與商用模型之間存在高達 34.9 個百分點的準確率差距，這顯示在處理複雜且真實的圖表理解任務時，開源模型仍有顯著的提升空間。
Significance
此研究不僅提供了首個針對日語白皮書圖表的視覺問答基準，更證明了政府公開文件是建構高品質、跨語言文件理解基準的高效率管道。HakushoBench 的釋出有助於縮小開源與商用模型在專業文件分析領域的差距，推動跨語言視覺語言模型的發展。