PhysStream：具備結構化場景記憶與細粒度運動控制的物理驅動串流影片生成技術

本研究提出 PhysStream 自迴歸模型，透過結構化場景記憶與稀疏速度增量訊號，實現具備物理一致性的影像轉影片生成。該模型支援生成過程中的即時互動控制，顯著提升了多物體動態場景的運動精確度與真實感。

Problem

現有的可控影片生成方法通常需要預先設定完整的控制時程，或僅依賴像素空間的訊號來指定物體位置，難以捕捉真實的物理動力學，且缺乏在生成過程中進行即時、細粒度互動控制的能力。

開發名為 PhysStream 的自迴歸模型，整合結構化場景記憶（由先前影格衍生的位置與追蹤圖）與編碼物理量的稀疏速度增量訊號。訓練分為兩階段：首先以運動控制條件微調雙向模型，接著加入場景記憶訓練因果自迴歸模型，以強化物理連貫性。

在多物體桌面剛體場景的測試中，PhysStream 的運動分布距離（FVMD）較最強基準模型降低了 33%，軌跡誤差減少 12%。在實際野外場景的真人評測中，PhysStream 的表現獲得超過 85% 的受訪者青睞，證明其在處理複雜互動時的優越性。

此研究突破了傳統影片生成的限制，首度實現生成中途的即時物理交互控制。這對於需要高精確度運動引導的領域，如機器人模擬、互動式視覺特效以及物理導向的內容創作，提供了更具彈性且精準的技術架構。