Problem

目前的音訊語言模型（LALM）大多僅支援離線批次處理，而現有的流式模型則侷限於語音辨識或聊天等單一任務。開發者面臨的挑戰在於如何建立一個統一模型，使其能像人類一樣在複雜的環境音與指令流中，即時判斷何時該聆聽、何時該主動做出反應。

Method

研究團隊開發了 Audio-Interaction 模型與 SoundFlow 框架，實踐了端到端的感知、決策與回應循環。核心技術包含流式原生資料建構、理解感知訓練，以及支援穩定互動的非同步低延遲推論。此外，亦構建了包含 260 萬條數據、涵蓋 28 項子任務的 StreamAudio-2M 語料庫，以及用於評估主動介入能力的 Proactive-Sound-Bench。

Results

在 8 項基準測試中，Audio-Interaction 不僅在主流離線音訊任務上保持競爭力，更解鎖了離線模型無法實現的功能，包括高品質的即時語音辨識（ASR）、流式音訊指令遵循，以及根據語境流語義主動提供協助的能力。

Significance

此項研究成功將離線處理與即時互動統一於單一模型架構下，打破了過往單一任務流式模型的限制。這為未來開發更自然、更具主動性且能全天候運行的 AI 語音代理程式奠定了重要的技術基礎。