Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

Linear attention models allow a fixed state size and a fixed amount of compute per token. However, due to their limited state size, linear attention models fall behind in long-context recall compared to softmax-attention-based transformer architectures. Increasing the state size of linear attention improves recall performance but at the cost of higher FLOPs. In this work, we introduce Sparse Delta Memory (SDM), an architecture that scales the hidden state of gated linear RNNs to orders of magnitude higher capacity using a sparse addressing scheme. SDM extends the Gated DeltaNet architecture by replacing the dense key-value outer product with sparse reads and writes to a large explicit memory. We show that, under an isoFLOP constraint and with an identical number of parameters, a higher state memory capacity significantly improves performance on in-context learning and long-context retrieval tasks. Moreover, by learning the initial state of the SDM memory and therefore using it as a parametric memory, we show that the model further improves on a wide range of common-knowledge and reasoning tasks.

한 줄 요약

SDM은 Gated DeltaNet의 상태 크기를 수천 배 확장하면서 FLOPs를 동일하게 유지하는 스파스 메모리 기반 RNN 구조를 제안한다.

핵심 기여도

SDM은 Gated DeltaNet의 상태 업데이트를 스파스한 읽기/쓰기로 대체하여, 동일한 FLOPs 하에 상태 크기를 수천 배 확장함.
RULER 벤치마크에서 GDN 대비 긴 문맥 추출 성능을 크게 개선함.
SDM의 초기 상태를 학습함으로써, 훈련 손실(NLL)이 GDN 및 Full Attention 모델보다 낮아짐.
1조 토큰 이상의 데이터로 8B 파라미터 모델 훈련을 통해 대규모 실험 검증함.

핵심 아이디어

기존의 Gated DeltaNet(GDN)은 고정된 상태 크기로 인해 긴 문맥 추출 성능이 제한된다. SDM은 GDN의 상태 업데이트를 **스파스한 읽기/쓰기**로 대체함으로써, 상태 크기를 수천 배 확장하면서도 **FLOPs를 동일하게 유지**한다. 이는 Product-Key Memory 기반의 스파스 주소 지정 방식을 도입한 결과이다.

또한, SDM은 **초기 상태를 학습 가능한 파라미터로 사용**함으로써, 사전 학습 지식을 메모리에 저장해 다양한 추론 및 상식 태스크에서 성능을 향상시킨다. 이는 GDN과 달리 초기 상태를 학습하지 않는 점에서 차별화된다.

기술적 접근법

**SDM**: Gated DeltaNet의 상태 업데이트를 **스파스한 읽기/쓰기**로 대체.
**Product-Key Memory**: 메모리에 대한 스파스한 접근을 통해 상태 크기를 수천 배 확장.
**초기 상태 학습**: SDM 메모리의 초기 상태를 학습 가능한 파라미터로 설정.
**isoFLOP 제약**: 상태 크기 증가에도 불구하고 FLOPs를 동일하게 유지.
**훈련 규모**: 8B 파라미터 모델, 1조 토큰 이상의 데이터로 훈련 검증.

주요 결과

**RULER 벤치마크**: SDM은 GDN 대비 긴 문맥 추출 성능을 크게 개선함.
**NLL**: SDM은 GDN 및 Full Attention 모델보다 훈련 손실이 낮음.
**100만 토큰 긴 문맥**: SDM은 in-context 학습 성능이 우수함.
**초기 상태 학습**: SDM은 GDN 대비 훈련 손실이 **일관되게 낮음**.
**8B 파라미터 모델**: 1조 토큰 이상의 데이터로 훈련 시, SDM은 Full Attention 모델보다 **낮은 손실**과 **조금 더 높은 단문 정확도**를 달성함.

의의 및 한계

SDM은 고정된 메모리 및 계산량을 유지하면서도 GDN과 Mamba2 등 기존 Linear RNN의 주요 한계인 **긴 문맥 추출 성능**을 개선한다. 이는 자동화된 에이전트, 코드베이스 처리, 장기 비디오 분석 등에서 **장기 메모리 기반 추론**을 가능하게 한다는 점에서 학술적·실용적 의의가 있다.

그러나 SDM은 **스파스 메모리 접근 방식**이 특정 태스크에서 효과적이지 않을 수 있으며, **메모리 초기화 학습**이 모든 경우에 동일한 성능 향상을 보장하지는 않는다. 또한, **대규모 훈련 데이터**가 필요하다는 점도 한계로 작용할 수 있다.

실용적 활용

SDM은 코드베이스 분석, 장기 추론 추적, 자동화 에이전트, 장기 비디오 처리 등에서 **고정 메모리 예산 내에서 긴 문맥을 처리**해야 하는 상황에 적합하다. 특히, **소프트웨어 엔지니어링**, **연구 보조**, **개인 비서 시스템** 등에서 활용 가능하며, **다중 모달리티 시스템**에서 장기 메모리 문제를 해결하는 데 기여할 수 있다.