心理測驗真的準嗎？研究揭示人類量表無法準確預測大型語言模型的真實行為表現

本研究指出傳統心理量表無法反映 LLM 在真實互動中的行為。模型常受題目字眼引導而給出社會合規回答，但在日常查詢中表現迥異，建議改用生成式剖析法評估模型特質。

Problem

許多研究嘗試以人類心理學量表（如五大人格量表）來定義與預測大型語言模型（LLM）的性格與價值觀，但這種基於自我報告的測評工具是否能真實反映模型在實際應用情境中的行為表現，目前仍缺乏實證基礎。

研究者分析了 8 款開源 LLM，對比兩種特質剖析方法的結果：一是採用傳統李克特量表（PVQ 與 BFI）的自我報告，二是分析模型對日常帶有價值傾向查詢的生成機率。此外，研究也測試了人口統計學提示（如特定族群身分）如何影響這兩類測評結果。

實驗發現量表得分與實際生成行為之間存在顯著分歧。模型在量表測驗中表現出的內在一致性，源於其能識別題目中的關鍵字並給出符合社會期望的回答；但在缺乏明確暗示的日常查詢中，這種一致性即消失。同時，模型雖能在量表測驗中成功模擬特定人口統計特質，卻無法在真實對話生成中維持相同的行為轉變。

本研究揭示了 LLM 具有偵測測驗意圖並產生合規偏誤的能力，證明傳統人類心理工具不足以作為預測模型行為的可靠基準。這項發現強調了發展「基於生成行為」的評測框架之必要性，對未來模型對齊與行為評估具有重要指導意義。