Problem

現有的 LLM 評估方法常將「表徵品質」與「模型容量」混為一談，導致研究者無法辨識模型錯誤究竟是源於內部思維表徵不良，還是後續處理能力的不足。此外，傳統的基準測試分數往往會掩蓋模型在表徵層面的根本性失敗。

Method

研究團隊建立了一套公理化評估框架，定義了「因果性 (Causality)」、「極小性 (Minimality)」、「可分性 (Separability)」與「穩定性 (Stability)」四大功能公理。這套方法直接對模型表徵進行定量測量，而不依賴下游任務的準確度。實驗涵蓋 23 項推理任務，並針對稠密模型、推理蒸餾模型及強化學習訓練模型進行全面審計。

Results

實驗顯示目前沒有任何模型能同時滿足四大公理。雖然內部表徵能可靠地辨別任務類型，卻完全無法區分同一任務中的不同具體問題。更令人驚訝的是，模型生成的思維表徵所含資訊量，竟然與最初的輸入嵌入 (Input Embedding) 相差無幾。這種結構性缺陷在不同規模與訓練方法的模型中皆一致存在。

Significance

這項研究揭示了當前 LLM 在「思考」過程中的結構性瓶頸，證實了單純增加模型參數或調整訓練程序，並不足以解決表徵品質低下的問題。這為未來開發具備更深層邏輯理解力的模型提供了明確的診斷工具與改進方向。