Sub-JEPA：利用子空間高斯正規化解決世界模型表徵崩潰，兼顧穩定性與靈活性

本研究提出 Sub-JEPA 框架，透過在多個隨機子空間中應用高斯約束，解決了 JEPA 的表徵崩潰問題，在維持模型穩定性的同時，顯著提升了連續控制環境下的學習效能。

Problem

聯合嵌入預測架構（JEPA）在學習世界模型時，常面臨偏差與變異的權衡。若缺乏足夠的結構約束，模型容易因過大的表徵變異而崩潰，產生無意義的平凡解。雖然現有研究如 LeWorldModel (LeWM) 嘗試以高斯先驗來穩定訓練，但直接在高維空間強加等向性約束會過於嚴苛，限制了潛在表徵的表達能力。

提出 Sub-JEPA 框架，核心創新在於將高斯正規化應用於多個「隨機子空間」而非原始的嵌入空間。這種設計放寬了全域限制，在保有防止崩潰效果的同時，允許表徵在低維流形上保有靈活性，進而尋找到更佳的偏差-變異平衡點。

在四種連續控制環境的廣泛實驗中，Sub-JEPA 的表現全面且大幅度地超越了 LeWM。結果證實，這種簡單且有效的子空間約束機制，能顯著改善端對端世界模型的訓練穩定性，並在複雜的控制任務中展現出更強的性能。

這項研究為 JEPA 基礎的世界模型提供了強而有力的基準。它證明了透過細緻的子空間約束，可以在不犧牲模型表達能力的前提下解決穩定性挑戰，為未來高效且穩定的自主代理人（Autonomous Agents）研究奠定了重要基礎。