Problem

醫療多模態大型語言模型（MLLM）在提供臨床決策支援時常出現「幻覺」現象。現有的醫療基準測試大多側重於資料收集，卻忽略了幻覺在推理過程中的具體起源，導致開發者難以判斷錯誤是源自於視覺影像辨識錯誤、醫學知識召回失誤，還是逻辑整合能力的缺陷。

Method

研究團隊推出 ClinHallu 基準，內含 7,031 個經過驗證的實例。每個實例皆附帶結構化的推理軌跡，並拆解為「視覺辨識」、「知識檢索」與「推理整合」三個階段。研究更採用階段替換干預法，測量修正特定階段對最終答案的影響，並導入推理軌跡監督微調（Trace-supervised Fine-tuning）技術。

Results

實驗結果顯示，ClinHallu 能有效對模型幻覺進行細粒度診斷。透過推理軌跡監督微調，可以顯著降低模型在各個階段產生幻覺的機率。此基準不僅揭示了模型推理失敗的具體環節，也證明了結構化監督對於提升模型診斷準確率的有效性。

Significance

本研究為建立可靠的醫療 MLLM 提供了關鍵的評測工具。透過精確診斷推理失敗的原因，能針對性地減輕 AI 醫療診斷中的虛假訊息，對於提升臨床決策支援系統的安全性和可信度具有重要里程碑意義。