Diffutron：專為土耳其語設計的遮罩擴散語言模型，以高效架構挑戰大規模參數模型

本研究開發了 Diffutron 模型，透過遮罩擴散機制解決土耳其語等複雜形態語言的生成難題，並利用 LoRA 持續預訓練與多階段指令微調，在維持小規模參數下展現出卓越的非自回歸生成效能。

Problem

現有的遮罩擴散語言模型（MDLM）雖具備非自回歸生成的潛力，但針對土耳其語這類具備複雜形態變化的語言，相關研究與應用仍顯不足。此外，開發高效能的大型語言模型通常面臨極大的運算資源限制，急需更具效率的開發方案。

研發團隊推出 Diffutron 模型，採用資源效率極高的訓練流程。首先利用 LoRA 技術對多語文編碼器進行大規模語料的持續預訓練，隨後導入漸進式指令微調策略（Progressive Instruction-tuning），針對一般性與特定任務指令集逐步優化模型的生成能力。

實驗結果顯示，即便 Diffutron 的參數規模相對精簡，在多項綜合基準測試中的表現仍足以媲美擁有數十億參數的大型基準模型。這證明了該架構在處理土耳其語文本生成時，具備極高的推論效率與性能競爭力。

這項研究成功驗證了遮罩擴散模型結合多階段微調技術，能有效應用於非自回歸的複雜語言生成任務。其高效的訓練流程為資源受限下的特定語系模型開發，提供了極具實作價值的參考路徑與技術框架。