Problem

在循環神經網路（RNN）的低位元量化推論中，權重與狀態的精度壓縮常導致模型表現劇降。特別是在處理螢光壽命顯微成像（FLI）等高雜訊訊號時，若狀態更新量低於量化後的存儲門檻，微小的數值變化會被捨棄，導致長期記憶失效與參數估計誤差異常飆升。

Method

研究團隊定義了「循環狀態回寫」（Recurrent-State Write-Back）規則，並將其應用於 GRU 與 LSTM 編碼器。實驗針對螢光衰減訊號進行參數估計，並在不更動模型權重的前提下，導入誤差回饋（Error Feedback）、殘差記憶（Residual Memory）與方向記憶（Direction Memory）等補償機制，試圖跨時間步保留被抑制的更新資訊。

Results

實驗發現，單純將狀態改為 4 位元儲存會使參數 $\tau_1$ 與 $\tau_2$ 的估計誤差分別激增 70 倍與 300 倍。然而，透過誤差回饋等技術，能在不重新訓練的情況下顯著恢復準確度。此外，研究揭示了 LSTM 的細胞狀態（Cell State）比隱藏狀態（Hidden State）對量化更為敏感，且提高狀態精度有時反而會惡化既有的循環解方案。

Significance

本研究確立了「狀態回寫」是決定低精度循環動力學的關鍵因素，並指出狀態存儲介面應作為量化模型設計的核心考量。這為開發高效能、低功耗的邊緣運算裝置與專用推論晶片提供了重要的理論支持與技術對策。