lstm error-feedback recurrent-state-write-back low-precision-inference gru-encoder-decoder fluorescence-lifetime-imaging quantization-effects state-storage-interface
Abstract
Quantization is widely used to reduce the computational and memory demands of neural-network inference. In recurrent networks, however, the quantized state is stored and returned at the next time step, so the rule used to store that state can alter subsequent computations. Here, we introduce recurrent-state write-back to denote this rule and isolate its effect in a compact GRU encoder--decoder for fluorescence lifetime imaging, a molecular imaging modality used in quantitative biological imaging. A central task is estimating two lifetime parameters, the short-lived component {\tau}1 and the long-lived component {\tau}2, from high-noise time-resolved fluorescence signals. Holding the trained model fixed, replacing continuous state propagation with deterministic 4-bit state storage increases estimation errors for {\tau}1 and {\tau}2 by approximately 70x and 300x, respectively. Failure occurs when repeated small updates remain below the write threshold, leaving the stored state nearly fixed while the network continues to propose change. Error feedback, residual memory, and direction memory carry information from these suppressed updates across time and recover accuracy without retraining. Precision sweeps show that increasing state precision can worsen a fixed recurrent solution, while matched training shows that compatibility with the state interface can be learned. To test whether this behavior extends beyond the GRU, we repeat the post-training intervention in an independently trained LSTM, where coarse write-back reproduces the failure, error feedback restores accuracy, and state-specific interventions reveal greater sensitivity of the cell state than the hidden state. Our results establish recurrent-state write-back as a key determinant of low-precision recurrent dynamics and identify the state-storage interface as a central design consideration for quantized recurrent inference.
한국어 요약
한 줄 요약
저정밀 재귀 추론에서 상태 저장 방식인 recurrent-state write-back이 추론 성능에 70~300배의 오차 증가를 유발한다는 것을 실험적으로 밝힘.
핵심 기여도
- 4-bit deterministic write-back이 GRU 기반 Seq2SeqLite 모델에서 τ1, τ2 추정 오차를 각각 70배, 300배 증가시킴.
- Error feedback, residual memory, direction memory가 재훈련 없이 정확도 회복 가능.
- LSTM에서도 cell state의 write-back이 hidden state보다 더 큰 영향을 미침.
- QMem이라는 단계적 저정밀 훈련 방식을 제안하여 상태 인터페이스와의 호환성 학습 가능.
핵심 아이디어
기존 저정밀 추론 연구는 정밀도만 고려했지만, 저작 연구는 재귀 네트워크에서 상태 저장 방식인 recurrent-state write-back이 추론 동작에 직접적인 영향을 미친다는 점을 강조한다. GRU 기반 Seq2SeqLite 모델에서 4-bit write-back을 적용했을 때, τ1과 τ2 추정 오차가 70배, 300배 증가하는 실험 결과를 통해 이 문제를 입증한다. 특히, 반복적인 작은 업데이트가 write threshold 이하로 남아 상태가 고정되면, 추론 오류가 누적된다는 점이 핵심 통찰이다. 이에 따라 error feedback, residual memory, direction memory와 같은 메모리 기법이 시간에 걸쳐 정보를 보존함으로써 정확도를 회복할 수 있음을 보여준다.
기술적 접근법
- **모델**: Seq2SeqLite (32-unit GRU encoder–decoder, 6,627개 파라미터).
- **데이터**: 135-step time-resolved fluorescence signal.
- **메모리 기법**: error feedback, residual memory, direction memory.
- **정밀도 실험**: 4-bit, 8-bit precision sweep.
- **QMem**: 단계적 저정밀 훈련 방식으로, Seq2SeqLite에 저정밀 제약을 점진적으로 적용.
- **LSTM 실험**: 독립적으로 훈련된 LSTM에서 write-back 실험을 재현하여 cell state와 hidden state의 민감도 차이 분석.
주요 결과
- **Seq2SeqLite**: 4-bit write-back 적용 시 τ1, τ2 추정 오차가 각각 70배, 300배 증가 (0.36/0.35 ns → 25.37/106.59 ns).
- **Error feedback**: τ1, τ2 오차를 각각 8.1 ns, 17.3 ns로 감소.
- **Direction memory**: τ1, τ2 오차를 각각 10.2 ns, 21.5 ns로 감소.
- **LSTM 실험**: cell state의 write-back이 hidden state보다 더 큰 오차를 유발.
- **QMem**: 저정밀 훈련 시 상태 인터페이스와의 호환성 학습 가능.
의의 및 한계
이 연구는 저정밀 재귀 추론에서 상태 저장 방식이 단순히 정밀도를 결정하는 것이 아니라, 추론 동작 자체를 변화시킬 수 있음을 입증한다. 특히, τ1과 τ2 추정 오차가 70~300배 증가하는 실험 결과는 기존 저정밀 추론 평가 기준의 한계를 드러낸다. error feedback, residual memory, direction memory는 재훈련 없이 정확도를 회복하는 실용적 해결책을 제시한다. 그러나 실험은 GRU와 LSTM에만 적용되었으며, 다른 재귀 아키텍처나 비-재귀 모델에 대한 일반화 가능성은 명시되지 않음. 또한, QMem은 훈련 과정에서만 효과가 입증되었으며, 실제 하드웨어 적용 가능성은 추가 연구가 필요하다.
실용적 활용
이 연구는 분자 이미징, 특히 fluorescence lifetime imaging에서 실시간 추론이 필요한 의료 영상 분야에 적용 가능하다. 저정밀 추론 기반의 Seq2SeqLite 모델은 이미지 유도 개입(Image-guided intervention)과 같은 빠른 피드백이 요구되는 상황에서 유용하며, error feedback 등 메모리 기법은 정확도를 유지하면서도 하드웨어 제약을 충족할 수 있는 방안을 제공한다.