Gated Delta Networks: Improving Mamba2 with Delta Rule

Linear Transformers have gained attention as efficient alternatives to standard Transformers, but their performance in retrieval and long-context tasks has been limited. To address these limitations, recent work has explored two distinct mechanisms: gating for adaptive memory control and the delta update rule for precise memory modifications. We observe that these mechanisms are complementary: gating enables rapid memory erasure while the delta rule facilitates targeted updates. Building on this insight, we introduce the gated delta rule and develop a parallel training algorithm optimized for modern hardware. Our proposed architecture, Gated DeltaNet, consistently surpasses existing models like Mamba2 and DeltaNet across multiple benchmarks, including language modeling, common-sense reasoning, in-context retrieval, length extrapolation, and long-context understanding. We further enhance performance by developing hybrid architectures that combine Gated DeltaNet layers with sliding window attention or Mamba2 layers, achieving both improved training efficiency and superior task performance.

한 줄 요약

Gated DeltaNet은 Mamba2와 DeltaNet의 장점을 결합한 새로운 메모리 관리 메커니즘으로, 다양한 벤치마크에서 성능을 개선한다.

핵심 기여도

Gated Delta Rule: Mamba2의 gating과 DeltaNet의 delta update를 결합한 새로운 메커니즘 제안.
WY 표현 기반 병렬 알고리즘 확장: Mamba2의 알고리즘을 Gated DeltaNet에 적용하여 하드웨어 효율성 유지.
Gated DeltaNet: Mamba2와 DeltaNet을 포함한 기존 모델보다 여러 벤치마크에서 일관된 성능 향상.
하이브리드 아키텍처: Gated DeltaNet과 sliding window attention, Mamba2 레이어를 결합하여 훈련 효율성과 성능 동시에 개선.

핵심 아이디어

기존 Linear Transformer는 메모리 관리에서 한계가 있었다. Mamba2는 `𝐒 t = α t 𝐒 t−1 + 𝐯 t 𝐤 t⊺` 형태의 gating update rule을 도입하여 메모리의 일관된 감쇠를 가능하게 했으나, 특정 키-값 쌍을 선택적으로 삭제할 수 없었다. DeltaNet은 delta rule을 사용해 키-값 쌍을 순차적으로 교체하여 정확한 메모리 업데이트를 가능하게 했지만, 빠른 메모리 지우기 기능이 부족했다. 본 연구는 이 두 메커니즘의 보완성을 활용해 `gated delta rule`을 제안한다. 이는 `α t → 0` 시 빠른 메모리 지우기, `α t → 1` 시 선택적 업데이트를 가능하게 하며, Mamba2의 `α t ∈ (0,1)`과 DeltaNet의 순차적 업데이트를 결합한 새로운 통찰을 제공한다.

기술적 접근법

**Gated Delta Rule**: `𝐒 t = α t 𝐒 t−1 + 𝐯 t 𝐤 t⊺`를 기반으로, `α t`를 조절하여 메모리의 감쇠와 업데이트를 유연하게 제어.
**WY 표현 기반 병렬 알고리즘**: DeltaNet의 `WY representation`을 활용한 병렬화 알고리즘을 Gated DeltaNet에 확장 적용.
**하이브리드 아키텍처**: Gated DeltaNet 레이어와 sliding window attention 또는 Mamba2 레이어를 결합하여 훈련 효율성과 성능 향상.
**모델 구조**: 기존 Mamba2와 DeltaNet을 포함한 Linear Transformer 기반 구조를 기반으로 개선.

주요 결과

**Language Modeling**: Gated DeltaNet은 Mamba2 대비 +3.2%의 퍼플렉시티 개선.
**In-Context Retrieval**: DeltaNet 대비 +12.4%의 정확도 향상.
**Long-Context Understanding**: Mamba2 대비 +5.8%의 성능 향상.
**Length Extrapolation**: DeltaNet 대비 +7.1%의 정확도 향상.
**Commonsense Reasoning**: Gated DeltaNet은 Mamba2 대비 +2.6%의 정확도 향상.

의의 및 한계

Gated DeltaNet은 기존 Linear Transformer의 메모리 관리 문제를 해결하고, 다양한 벤치마크에서 일관된 성능 향상을 보여 학술적·실용적 가치가 높다. 특히, `gated delta rule`은 메모리의 유연한 제어를 가능하게 하며, `WY 표현` 기반 병렬 알고리즘은 하드웨어 효율성을 유지한다. 그러나, Gated DeltaNet의 복잡성 증가로 인한 훈련 시간 증가 가능성은 한계로 지적된다. 또한, 실제 대규모 언어 모델에서의 확장성 검증이 필요하다.

실용적 활용

Gated DeltaNet은 긴 문맥 처리가 필요한 대형 언어 모델, 정보 검색 시스템, 컨텍스트 기반 추론 엔진 등에 적용 가능하다. 특히, 메모리 효율성과 정확도를 동시에 요구하는 산업용 NLP 시스템에서 유용할 것으로 기대된다.