ProgramDistill：從互動式網頁應用程式自動生成可驗證軟體工程任務的評測基準

本研究提出 ProgramDistill 評測基準，透過自動化流程從現有網頁應用程式提取功能行為，要求 AI 代理程式藉由觀察與互動來修復程式碼，提供更貼近實務的評估工具。

Problem

目前的程式開發代理程式（Coding Agents）評估基準大多依賴文字指令或 Issue 描述，但在實際開發情境中，工程師往往需要從現成的軟體原型推論預期行為，並將其落實於不完整的應用程式中，現有基準缺乏對這類「參考引導」能力的考核。

研究團隊開發了名為「mine-craft-patch」的自動化管線，將 26 個完整的應用程式拆解為不同粒度的功能特徵。透過 gold patch 執行可重現的行為驗證，在完全無需人工介入的情況下，自動建構出 4,063 個開發任務與 1,975 個經驗證的行為序列。

測試九種頂尖模型後發現，GPT-6 Astra 與 Claude Opus 5 在完整重建工作流的成功率分別僅為 49.2% 與 28.8%。隨著修復深度（難度）從 1 增加到 8，最強模型的成功率從 100% 驟降至 64%，顯示現行 AI 在處理複雜軟體結構時仍具顯著挑戰。

ProgramDistill 提供了一個具備高可擴展性與可控難度的測試平台，能精確診斷 AI 代理程式在功能推論與程式碼實作上的弱點，並為未來採用課程學習（Curriculum Learning）模式的 AI 訓練奠定科學基礎。