Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory

Decoder-only language models entangle long-term memory and reasoning in a single parameter set, making it difficult to scale memory capacity independently. Memory Decoder introduces a parametric long-term memory module but only studies it at a relatively small scale. In this work, we present Memory Decoder at Scale, scaling memory models up to 6.9B parameters and pretraining them on 300B tokens. At this data scale, the combined cost of indexing and search makes a standard Faiss pipeline infeasible. We address this bottleneck with a distributed pipeline for Faiss indexing and retrieval, together with sparse, batch-wise loading of kNN distributions. Across model scales, we find that allocating more parameters to memory yields a better parameter-performance tradeoff than scaling the base model alone. On 17 benchmarks, pairing a 6.9B general memory with Pythia-410M raises its average score from 29.86 to 37.34, surpassing Pythia-12B (37.24) with 39% fewer total parameters. For Qwen3 Base models ranging from 0.6B to 14B, 1.7B domain memories improve the average score across the three domains by more than 9 points at every scale. Overall, our results demonstrate that independently scaling pretrained memory offers a more parameter efficient path to improving language model performance.

한 줄 요약

Memory Decoder at Scale는 6.9B 파라미터 규모로 확장된 장기 기억 모듈을 제안하여 언어 모델 성능을 파라미터 효율적으로 향상시킨다.

핵심 기여도

6.9B 파라미터 규모의 Memory Decoder를 제시하고 300B 토큰으로 사전 학습함.
분산 Faiss 인덱싱 및 검색 파이프라인을 도입하여 대규모 데이터셋 처리를 가능하게 함.
Pythia-410M 모델에 6.9B 일반 기억 모듈을 결합하여 Pythia-12B보다 높은 성능을 39% 적은 파라미터로 달성함.
Qwen3 Base 모델에 1.7B 도메인 기억 모듈을 결합하여 모든 규모에서 평균 9점 이상 성능 향상함.

핵심 아이디어

기존 디코더-오로 언어 모델은 장기 기억과 추론을 동일한 파라미터 집합에 통합하여 기억 용량을 독립적으로 확장하기 어려웠다. 이에 Memory Decoder는 장기 기억을 파라미터화한 별도 모듈로 구현했으나, 초기 연구는 소규모로 제한되었다. 본 연구는 이를 대규모로 확장하고, 파라미터 효율성을 중심으로 성능 개선을 실증적으로 검증한다. 핵심 통찰은, 기반 모델만 확장하는 것보다 기억 모듈에 파라미터를 할당하는 것이 성능 대비 파라미터 비용을 낮춘다는 점이다.

기술적 접근법

Memory Decoder를 6.9B 파라미터 규모로 확장하고 300B 토큰으로 사전 학습함.
대규모 데이터셋 처리를 위해 분산 Faiss 인덱싱 및 검색 파이프라인을 도입함.
kNN 분포를 스파스하고 배치 단위로 로드하여 인덱싱 및 검색 비용을 최적화함.
파라미터 할당 전략을 비교하며, 기억 모듈에 더 많은 파라미터를 할당하는 것이 전체 성능에 유리함을 확인함.

주요 결과

17개 벤치마크에서 Pythia-410M에 6.9B 일반 기억 모듈을 결합하여 평균 점수를 29.86에서 37.34로 향상시킴.
Pythia-12B (37.24) 대비 39% 적은 파라미터로 더 높은 성능을 달성함.
Qwen3 Base 모델(0.6B~14B)에 1.7B 도메인 기억 모듈을 결합하여 모든 규모에서 평균 9점 이상 성능 향상함.

의의 및 한계

Memory Decoder at Scale는 파라미터 효율적인 언어 모델 성능 향상을 위한 새로운 접근법을 제시한다. 기존에는 기반 모델만 확장하는 방식이 일반적이었으나, 본 연구는 기억 모듈에 파라미터를 할당하는 것이 더 효과적임을 실증적으로 보여준다. 그러나 대규모 파라미터 모델의 학습 및 추론 비용은 여전히 높아, 실제 적용 시 인프라 비용을 고려해야 한다는 한계가 있다.

실용적 활용

Memory Decoder at Scale는 대규모 언어 모델을 필요로 하는 산업 현장(예: 고객 지원, 문서 분석)에서 파라미터 효율적인 성능 향상을 위한 기술로 활용될 수 있다. 특히, 기억 모듈을 도메인별로 미세 조정하여 특정 업무 성능을 개선하는 데 유용할 수 있다.