LoopCoder-v2：揭秘循環轉換器的效能邊際效應，雙循環架構大幅提升軟體工程自動化能力

本研究提出 LoopCoder-v2，發現平行循環轉換器在兩次循環時達到最佳平衡，顯著提升程式碼生成與推理效能，並揭示循環次數過多會因位置偏置成本導致效能下降的現象。

Problem

傳統循環轉換器（Looped Transformers）透過重複執行共享區塊來擴展運算量，但循序循環會顯著增加推論延遲與 KV 快取記憶體負擔。此外，學界對於循環次數如何影響模型效能的「增益與成本」權衡，缺乏系統性的研究與診斷準則。

開發 LoopCoder-v2 系列模型，採用平行循環轉換器（PLT）架構，結合跨循環位置偏移（CLP）與共享 KV 閘道滑動視窗注意力機制。研究團隊在 18T 代幣上從頭訓練多個不同循環次數的 7B 模型，並進行指令微調，以定量分析循環精煉表徵與位置偏移成本之間的關係。

實驗證實循環次數對效能的影響呈現非單調性：兩次循環的變體在程式碼生成與代理式軟體工程測試中表現最優，將 SWE-bench Verified 分數從 43.0 提升至 64.4。然而，三次以上的循環則因精煉收益遞減且位置偏移誤差主導，導致效能退化與表徵多樣性下降。

此研究確立了平行循環架構在兩次循環時的飽和點，為高效能測試時運算擴展（Test-Time Scaling）提供重要的診斷工具。這不僅大幅提升了自動化軟體工程的實測標準，也為未來輕量化模型在維持低延遲的同時，如何有效利用重複區塊提供了理論與實踐依據。