跨越語言藩籬：XBCP 基準測試揭示深層研究代理人在跨語言檢索與推理中的嚴峻挑戰

本研究推出 XBCP 基準測試，評估 AI 代理人在處理非母語資料時的表現。研究發現，跨語言檢索不僅導致資料召回率下降，更會削弱模型整合資訊與引用來源的可靠性。

Problem

現有的深層研究（Deep Research）代理人基準測試大多假設查詢與支撐資料皆為同一語言。然而，現實世界中許多關鍵證據往往以不同語言呈現，目前尚不清楚現行的代理人系統是否具備跨語言檢索、推理並產出準確答案的能力。

研究團隊開發了 XBCP 基準測試，在維持英文問答空間的基礎上，將支撐文件的語言擴展至包含高資源與低資源的 12 種語言。實驗設置包含單一語言配對與多語言混合環境，並評估了四種深層研究代理人在搭配不同檢索器時的精確度、召回率、引用忠實度與模型校準能力。

實驗顯示當證據文件非英文時，系統表現會顯著退化。即使是強大的密集檢索器，其資料召回率仍大幅下降，且代理人對證據的整合能力與引用可靠性也隨之受損。值得注意的是，即便直接提供正確的非英文證據，代理人的回答準確度依舊低於處理同語言資料時的表現。

本研究揭示了跨語言深層研究任務的雙重障礙：除了前端檢索系統的失效外，代理人在處理語言不匹配的證據時也存在整合困難。這項發現對於開發能處理全球異質資訊、具備多語言推理能力的次世代 AI 代理人具有關鍵的參考價值。