RT-Lynx：透過啟動值稀疏化重新定義擴散變換器推理加速，兼顧影像品質與運算效率

本研究提出 RT-Lynx 框架，將擴散模型的 N:M 稀疏化對象從權重轉向啟動值，結合誤差補償與 CUDA 優化，在維持高品質影像生成的同時顯著提升推理效率。

Problem

擴散變換器（DiT）在影像生成領域展現強大效能，但伴隨龐大的推理成本。現有減輕運算量的方法多集中於權重稀疏化，然而移除 50% 權重往往會損害模型容量，導致生成的影像品質大幅下降，難以在效率與精度間取得平衡。

研究發現啟動值（Activations）比權重對 N:M 稀疏化更具韌性，據此開發 RT-Lynx 框架。該技術將稀疏化目標轉向啟動值，整合誤差補償機制以降低精度損失，並針對此架構開發專用的高效能 CUDA 核函式，優化矩陣乘法運算。

實驗結果顯示，RT-Lynx 在線性層平均可實現 1.55 倍的加速。在多種擴散模型測試中，此方法成功在不影響生成影像精度與視覺細節的情況下，大幅提升了推論流程的整體運算速度。

此研究打破了以權重稀疏化為主的傳統思維，提出以啟動值為核心的稀疏化典範。這為未來高效能、低延遲的生成式 AI 模型部署提供了關鍵的技術路徑，使高品質影像生成在有限資源下更具實用性。