Problem
現有的搜尋代理人基準測試大多假設使用者指令完整且明確,但現實中的需求往往模糊、資訊不足或包含錯誤資訊。在涉及多步驟推理的深層搜尋中,這些初始的模糊性會隨推理鏈傳遞,導致代理人走向錯誤路徑,難以達成使用者的真實目標。
Method
開發了專為澄清導向深層搜尋設計的 DiscoBench 基準測試,包含跨 11 個領域的 211 個樣本與 463 個模糊實例,涵蓋四種主要模糊類型。研究團隊同步設計了使用者模擬器以進行多輪互動評估,並從任務效用、模糊偵測、互動策略與成本效率四個維度衡量大語言模型的表現。
Results
實驗發現,模糊偵測與有效的澄清提問是兩種完全不同的能力。若模型不主動進行澄清而僅是盲目地反覆嘗試搜尋,其表現通常比直接猜測更差。這反映出現有的模型雖然具備強大的檢索能力,但在互動式問題解決與消除歧義上仍存在顯著的技術斷層。
Significance
此研究填補了深層搜尋評測中「主動澄清」的空白,強調了搜尋代理人不應僅是單向的資訊檢索器,更需具備與使用者雙向互動以精確定位需求的能力。這為未來開發更精準、具互動智慧的 AI 搜尋系統提供了重要的評估框架與優化方向。