EBench 模擬基準測試：揭開通用型移動操縱模型成功率背後的關鍵能力差異

本研究開發了 EBench 基準測試，透過 26 項任務與多維度指標，精準診斷通用型機器人模型的各項能力，避免單一成功率數值遮蔽模型在特定技能與泛化場景下的真實表現。

Problem

目前的通用型移動操縱模型評估過於依賴單一的「成功率」標量。這種簡化的指標無法反映模型在不同原子技能上的強項，也難以說明模型在面對分佈偏移時的穩定性，導致開發者難以精確診斷並改進模型。

研究團隊推出了 EBench 模擬基準測試，包含 26 個具備挑戰性的操縱任務。該系統從 5 個能力維度與 4 個泛化維度進行深度標註，並以此對 $\pi_0$、$\pi_{0.5}$、XVLA 和 InternVLA-A1 等尖端模型進行全方位評估，分析其在不同分佈偏移因素下的表現。

實驗揭示了模型在相似成功率背後迥異的能力特徵：$\pi_{0.5}$ 展現出最高測試成功率與最佳的訓練保留率；InternVLA-A1 在移動操縱任務中佔據主導地位，但在靈巧操縱任務中表現低落；XVLA 則在原子技能上與其他模型呈現互補的優勢。

EBench 為通用型機器人研究提供了廣泛的診斷訊號，幫助研究者釐清模型優劣勢。透過多維度的分析架構，此基準測試能精準導引模型的迭代方向，對加速發展具備強健泛化能力的通用型操縱模型具有重要意義。