Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models

Large language models need effective ways to acquire and use external knowledge beyond what they retain from pretraining. Continued pretraining risks catastrophic forgetting, while retrieval at inference time can add substantial overhead. External parametric memory avoids online retrieval, but constructing its training data requires extensive offline search, and output-level interpolation provides only shallow fusion. We introduce Deep Fusion Memory (DFM), a parametric memory architecture that reduces this construction workload and incorporates learned memory into intermediate hidden states. A causal memory predictor learns to generate memory from the preceding context, using retrieved chunk embeddings from the corpus as supervision. The predicted memory is shared across tokens within each chunk and fused into their hidden states through gated cross-attention. Memory prediction and fusion are trained end to end with the backbone frozen, and inference requires no explicit retrieval. Compared with existing parametric memory approaches, which often construct token-level memory targets, DFM requires 32times fewer retrieval queries and 2048times fewer retrieved items to construct its training data. Across six QA tasks, DFM performs better over the strongest baseline by 12.71% on Mistral-7B-v0.3 and 11.19% on Qwen3-8B-Base. Beyond QA, domain adaptation yields average gains of 6.51 and 4.38 points over Qwen3-4B-Base and Qwen3-8B-Base, respectively.

한 줄 요약

DFM은 대규모 언어 모델에 외부 지식을 효율적으로 통합하는 chunk-level 파라메트릭 메모리 구조로, QA 성능을 12.71% 향상시키며 추출 작업을 32배 감소시킨다.

핵심 기여도

DFM은 chunk-level 파라메트릭 메모리로, 기존 token-level 메모리 대비 32× 적은 retrieval query와 2048× 적은 retrieval item을 사용하여 학습 데이터를 구성한다.
Gated cross-attention을 통해 중간 hidden state에 메모리를 통합하여, RETRO와 유사한 intermediate-to-late layer 접근법을 채택한다.
QA 평균 성능에서 Mistral-7B-v0.3 기반 모델 대비 12.71%, Qwen3-8B-Base 대비 11.19% 개선.
코드, 수학, 법률 도메인에서 Qwen3-4B-Base 대비 평균 6.51점, Qwen3-8B-Base 대비 4.38점 향상.

핵심 아이디어

DFM은 기존 파라메트릭 메모리가 token-level로 학습 데이터를 구성하는 방식의 비효율성을 개선하기 위해, chunk 단위로 메모리를 예측하고 이를 hidden state에 통합하는 구조를 제안한다. Causal memory predictor는 context를 기반으로 chunk embedding을 사용해 메모리를 생성하고, 이는 해당 chunk 내 모든 토큰에 공유된다. Gated cross-attention을 통해 이 메모리가 hidden state에 깊이 통합되어, 후속 decoder 레이어에서 활용될 수 있도록 한다. 이는 RETRO의 shallow fusion 방식과 달리, 중간 hidden state에 메모리를 깊이 결합하여 더 효과적인 정보 통합이 가능하다는 점에서 차별화된다.

기술적 접근법

**Causal Memory Predictor**: context를 기반으로 chunk embedding을 사용하여 메모리를 생성.
**Gated Cross-Attention**: chunk 내 토큰의 hidden state에 메모리를 통합.
**End-to-End 학습**: backbone은 동결 상태에서 memory predictor와 fusion module을 함께 학습.
**Chunk Size**: 32 토큰 chunk가 QA 성능과 데이터 생성 비용의 균형을 잘 맞춘다.
**Fusion Layer**: 4개의 [2, 10, 21, 31] 레이어에서 가장 효과적.
**Memory Slot**: 8개의 memory slot이 27.09점으로, 16개 slot 대비 0.12점 차이로 성능 저하 없이 비용 절감 가능.

주요 결과

**QA 성능**: Mistral-7B-v0.3 기반 모델 대비 12.71%, Qwen3-8B-Base 대비 11.19% 개선.
**도메인 적응**: 코드, 수학, 법률에서 Qwen3-4B-Base 대비 평균 6.51점, Qwen3-8B-Base 대비 4.38점 향상.
**데이터 생성 효율성**: 기존 token-level 메모리 대비 32× 적은 retrieval query, 2048× 적은 retrieval item 사용.

의의 및 한계

DFM은 파라메트릭 메모리의 학습 데이터 생성 비용을 획기적으로 줄이며, 중간 hidden state에 깊이 통합된 메모리를 통해 QA 및 도메인 적응 성능을 향상시킨다. 특히, 추출 작업을 줄이면서도 성능 저하 없이 유지하는 점에서 실용적 가치가 크다. 다만, chunk size와 memory slot 수에 따라 성능 변동이 발생하며, 특정 도메인에서는 개선 폭이 제한될 수 있다. 또한, 추출된 메모리의 질에 따라 최종 성능이 영향을 받을 수 있는 한계가 있다.

실용적 활용

DFM은 지식 기반 QA 시스템, 법률 및 의료 분야의 도메인 적응, 코드 생성 등에서 활용 가능하다. 특히, 대규모 데이터셋에서 실시간 추출 없이 외부 지식을 활용해야 하는 상황에서 유용하며, 추출 비용을 줄이며 높은 정확도를 유지할 수 있다.