Problem

現有的 AI 遊戲開發多集中於資產生成或網頁遊戲程式碼，但在專業遊戲引擎上的「專案級」程式碼工程仍缺乏深入探索。這主要是因為業界缺少大規模的開源專案資料集，以及一套能針對遊戲執行行為進行客觀評測的標準化方法。

Method

研究團隊從 Game Jam 競賽中提取開發者在嚴格時限內完成的開源專案。利用 Godot 引擎的純文字格式與無頭執行模式，設計了一套從檔案完整性到運行行為擷取的自動化驗證流程，從 24 萬個儲存庫中精鍊出 8,133 個專案組成 JamSet，並人工挑選 300 個專案建立評測基準 JamBench，結合編譯率、結構完整度（SCS）與行為對齊分數（BAS）進行評估。

Results

對 9 款頂尖模型的測試顯示，當專案規模擴大時，AI 的表現會出現「能力斷崖」，大型專案的運行通過率從 80.4% 降至 5.7%。實驗發現雖然 AI Agent 能改善語法並提升編譯率，但對運行時的行為品質並無顯著幫助，顯示技術瓶頸在於軟體架構設計而非單純的語法正確性。

Significance

此研究為專業級遊戲開發提供了首個大規模的專案級資料集與評測框架。它不僅量化了當前大型語言模型在複雜系統開發上的侷限性，更為未來 AI 驅動的自動化遊戲工程與架構設計提供了重要的實驗基礎與數據支持。