Problem
目前的生成式重建技術在處理長距離、大視角變化的相機軌跡時,面臨「空間遺忘」與「時間漂移」兩大難題。前者導致重新造訪區域時結構錯亂,後者則隨時間累積合成誤差,造成場景外觀與幾何形狀的嚴重扭曲,難以維持長期的穩定性。
Method
Lyra 2.0 框架利用每影格的 3D 幾何進行資訊路由,精準檢索相關歷史影格以確保外觀合成的一致性。同時,研究團隊採用「自增廣歷史」進行訓練,讓模型暴露於自身產生的退化輸出中,從中學習主動修正漂移誤差,而非讓錯誤持續傳遞。
Results
實驗證明該方法能生成大幅延長且具備高度 3D 一致性的影片軌跡。透過這些高品質生成的資料,能有效微調前饋重建模型,使其在複雜、大規模的環境中也能穩定地恢復出高品質且可即時渲染的 3D 場景,且無明顯幾何畸變。
Significance
此項研究突破了大規模數位世界自動化生成的瓶頸,克服了長效生成中的不穩定性。這對於虛擬實境、遊戲開發及模擬訓練等需要高品質、持久且可自由探索之 3D 空間的領域,提供了更具擴展性與實用性的技術路徑。