Problem

目前的影片生成模型在模擬真實物理世界時,缺乏精確且具公信力的評估標準。原有的 Physics-IQ 基準測試雖然試圖量化模型對物理定律的理解,但在提示詞品質、地面實況資料的一致性,以及評分權重分配上存在缺陷,導致評估結果容易受到干擾因素影響,無法準確反映模型的真實能力。

Method

研究團隊開發出 Physics-IQ Verified 框架,對原有的基準測試進行全面審核。具體改進措施包含:優化提示詞敘述以減少歧義、提升地面實況(ground-truth)的標註品質,並引入全新的樣本級評分系統。該系統確保每個樣本與各項評估指標在計算時擁有相等的權重,從而降低特定偏誤對排名產生的影響。

Results

實驗結果顯示,Physics-IQ Verified 成功精煉了 57.6% 的實驗樣本,並改善了 34.8% 的提示詞內容。在對六款主流「圖生影」(image-to-video)模型的對比研究中,發現優化後的排名與原版相比有顯著變動(Kendall's τ = 0.46),證明了更精細的評核標準能有效揭示模型在物理邏輯上的落差。

Significance

隨著影片生成技術朝向「世界模型」發展,模型是否符合物理規律成為關鍵指標。此研究透過開源更可靠的評估工具,為學術界與開發者提供了更清晰的訊號,有助於推動具備精確物理常識的生成式 AI 發展,並為後續相關研究奠定科學化評比的基礎。