Habitat-GS：整合 3D 高斯潑濺技術的高擬真導航模擬器，助力具身智慧學習動態人類互動

本研究開發了 Habitat-GS 模擬器，結合 3D 高斯潑濺技術與可驅動的人形化身，大幅提升環境擬真度，讓 AI 代理人能在具備動態障礙的現實場景中學習導航行為。

Problem

現有的具身智慧（Embodied AI）模擬器多依賴網格化渲染（Mesh-based rasterization），視覺保真度不足。此外，現有模擬器缺乏支援高品質動態人形化身的機制，導致 AI 代理人在面對現實中充滿人類的移動場景時，泛化能力與避障表現受到限制。

研究團隊基於 Habitat-Sim 擴充開發了 Habitat-GS，將 3D 高斯潑濺（3DGS）渲染引擎整合至生態系中，支援從多種來源導入 3DGS 資產。同時引入了高斯化身模組，使人形化身不僅具備擬真的視覺外觀，還能作為實體導航障礙物，與代理人進行互動。

在點對點導航實驗中，於 3DGS 場景訓練的代理人展現出更強的跨領域泛化能力，且結合混合領域訓練的效果最為顯著。此外，高斯化身能有效訓練代理人的「人類感知導航」行為，系統效能基準測試也證實其具備良好的擴展性，能應對複雜場景與多個化身。

此研究成功彌補了模擬環境與真實世界之間的視覺與互動鴻溝。透過提供高效率且高保真度的訓練平台，Habitat-GS 為開發能在複雜人類環境中安全、精準運作的 AI 機器人奠定了關鍵基礎。