CarePilot：醫療自動化新突破，結合多代理人框架與雙記憶機制處理長程複雜工作流

本研究開發 CarePilot 框架與 CareFlow 基準測試，透過 Actor-Critic 架構與雙記憶機制，顯著提升視覺語言模型在醫療長程電腦任務中的自動化執行效率與推理能力。

Problem

現有的多模態代理人多聚焦於短程或通用任務，難以應對醫療領域（如電子病歷、DICOM 影像、實驗室系統）中步驟繁瑣且具高度專業性的長程自動化工作流，導致現有模型在醫療情境下的推理與多步驟互動表現欠佳。

提出基於 Actor-Critic 範式的 CarePilot 多代理人框架。Actor 整合工具定位與雙記憶機制（長短期經驗）來預測操作動作；Critic 則評估每一步動作效果、更新記憶並提供修正回饋，透過反覆的代理人模擬，使模型在推論時展現出更穩健的推理與預測能力。

在高品質人手標註的 CareFlow 基準測試與分佈外資料集中，CarePilot 的表現顯著超越現有的閉源與開源多模態模型基準，性能增益分別達 15.26% 與 3.38%，證明了該框架在複雜醫療軟體操作上的優勢。

此研究填補了醫療資訊系統長程自動化技術的空白。透過創新的多代理人協作機制，為醫療自動化操作提供了更具魯棒性且具備推理能力的解決方案，對於提升醫療工作流程效率及減輕醫護行政負擔具有重要價值。