Problem

串流多模態模型在處理影片與同步音訊時，常面臨「跨模態過早承諾（premature cross-modal commitment）」的困境。當視覺線索在音訊或語音事件完成前先提供解釋，模型容易將該推測視為事實並存入記憶，即使後續音訊產生矛盾，模型仍會持續傳遞錯誤訊息。

Method

研究團隊提出「Omni-Streaming Thinking (OST)」技術，生成包含觀測證據、未來預測與初步主張的結構化輸出。主張最初被標記為「待定」，並連結至未來的驗證區間。系統將音訊與視覺證據分開存儲，並在驗證期結束時比對兩者；若偵測到矛盾，則啟動駁回程序減少錯誤主張的影響，並引導模型更新狀態。

Results

基於 Qwen3-Omni-30B 骨幹模型的 OST，在五項串流與音視訊基準測試中，平均領先最強開源模型超過 10%。此外，在專門測試音視訊衝突的 OST-DiagBench 中，OST 的 d-prime 分數達到 2.95，遠高於基準模型的 1.38，顯示其能有效減少視覺誤導導致的聽覺幻覺。

Significance

此研究為開發高可靠性的即時 AI 系統提供了新思路。透過引入動態驗證與駁回機制，模型能更精準地處理影音同步資訊，解決了長久以來串流模型容易因片面資訊而產生邏輯矛盾的問題，對開發虛擬助理與智慧監控具有重大意義。