Problem

自動駕駛技術邁向普及的關鍵瓶頸，在於如何在閉環模擬中安全評估「長尾場景」的駕駛策略。傳統重建式神經模擬器極度依賴初始擷取的靜態資料，難以針對極端天氣或不可預測的動態交通行為進行泛化，導致開發者無法在高度動態且多變的虛擬環境中完整驗證策略模型的可靠性。

Method

研究團隊基於 NVIDIA Cosmos 擴散模型開發出 OmniDreams 基礎世界模型。該模型經過 2.1 萬小時駕駛場景的中期與後期訓練，具備自回歸生成即時影像的能力。它能根據過去的影像畫面、當前模擬器狀態及即時駕駛動作，動態生成具備光學真實感的感測器觀察結果。此系統與 Alpamayo 1 策略模型及 AlpaSim 編排器整合，建構出反應極為靈敏的閉環互動環境。

Results

OmniDreams 成功合成出傳統模擬器難以捕捉的複雜現象，包含極端惡劣氣候與不可預測的動態代理人行為。初步實驗顯示，基於該模型開發的世界動作模型（WAM）在 Physical AI 的 NuRec 資料集上表現優異，其效能超越了既有的 Alpamayo 1.5 策略模型，且總參數量僅為後者的五分之一，大幅提升了運算效率。

Significance

這項研究為下一代自動駕駛策略的訓練與評估提供了具備擴展性且全方位的解決方案。OmniDreams 的成功不僅展示了即時生成式世界模型在構建高品質模擬環境中的價值，更揭示了世界模型作為未來駕駛策略架構核心（Backbone）的巨大潛力，有助於加速實現更安全、更具魯棒性的自動駕駛系統。