Cross-Model Memory Transfer via Target-Side Reader Adaptation

Methods for improving knowledge use in large language models typically fall into two regimes. Non-parametric retrieval offers flexible access to external knowledge, but adds retrieval latency, context overhead, and only shallow integration with the backbone. Parametric adaptation is efficient at inference time, but entangles knowledge with model weights and can be hard to update, audit, or transfer. Engram-style hashed memory occupies a middle regime: it stores learned information in an external, addressable table, yet consumes that table through a small learned reader. This raises a basic question: when such a memory is moved across backbones, what matters more, the frozen memory itself or the target-side reader? We study this question through cross-model frozen-memory extraction, in which a memory trained on a source model is frozen and attached to a different target model, with only a lightweight reader trained. Ablations show that learned memory content and correct addressing both matter, but the transferred table becomes useful only through a reader aligned to the target model. In downstream question answering tasks, a dual-layer, four-branch reader nearly closes the gap between same-model and cross-model reuse, achieving an average score of 38.8 under our controlled evaluation protocol. Moreover, when the provider reader is directly compatible with the target interface, the frozen artifact can provide substantial utility without target-side training, while optional reader adaptation yields further improvement. These results suggest that Engram can serve as a reusable external knowledge artifact, provided that the target has access to a compatible reader interface; target-side adaptation can further improve alignment when direct reader reuse is insufficient.

한 줄 요약

Engram 스타일 해시 메모리를 타겟 모델에 전달할 때, 메모리 자체보다는 타겟 측 리더의 설계가 성능에 더 큰 영향을 미친다는 것을 실험적으로 입증했다.

핵심 기여도

**Cross-model frozen-memory transfer 프로토콜**을 제안하여, 외부 메모리의 이식성을 평가하는 새로운 평가 프레임워크를 제시.
**Tokenizer-agnostic canonicalization**을 통해 토크나이저 간 주소 일관성을 보장.
**Dual-layer, four-branch reader** 설계로 QA 평가에서 38.8점의 성능을 달성하며, 동일 모델 재사용과의 격차를 거의 해소.
**Frozen memory**가 랜덤 메모리 및 permuted-key 컨트롤을 15.7%의 상대 퍼플렉시티 감소로 초과하는 것을 입증.

핵심 아이디어

기존의 외부 지식 활용 방식은 비파라미트릭 검색과 파라미트릭 적응으로 나뉘며, 각각의 한계가 존재한다. Engram 스타일 해시 메모리는 외부 테이블에 학습된 정보를 저장하면서, 이를 소규모 리더를 통해 모델에 통합하는 하이브리드 구조를 채택한다. 이 연구는 **Engram 메모리가 다른 백본 모델로 이식되었을 때, 메모리 자체보다는 타겟 측 리더의 설계가 더 중요한 역할을 하는지**를 탐구한다. 핵심 통찰은, **타겟 모델이 메모리의 주소를 정확히 매핑하고, 리더가 이를 효과적으로 통합할 때, 외부 메모리의 이식성이 높아진다**는 점이다.

기술적 접근법

**Engram 메모리**는 외부 테이블에 학습된 벡터를 저장하며, **리더(reader)**를 통해 모델의 잔차 스트림(residual stream)에 주입.
**Source-side memory training** 후, 메모리 테이블을 **freeze**하고, **target-side reader**만 학습.
**Tokenizer-agnostic canonicalization**을 통해 토크나이저 간 주소 일관성을 유지.
리더는 **residual injection** 방식으로 연결되며, **dual-layer, four-branch** 아키텍처를 사용한 경우 QA 성능이 크게 향상됨.
학습 프로토콜은 **Phase 1 (source memory training)**, **Phase 2 (target-side reader training)**로 구성.

주요 결과

**QA 평가**에서, **dual-layer, four-branch reader**를 사용한 경우, 평균 38.8점의 성능을 달성하며, 동일 모델 재사용과의 격차를 거의 해소.
**Pythia, Qwen, TinyLlama, Phi, LLaMA, Mistral** 등 다양한 모델 간 이식 실험에서, **상대 퍼플렉시티 감소 최대 15.7%** 기록.
**Permuted-key control** 및 **FFN-only control** 대비, **transferred memory**가 38.8점 평균 QA 점수로 **SoTA 성능** 달성.
**Frozen memory**가 랜덤 메모리보다 **상당한 유용성**을 보이며, 타겟 측 리더 없이도 일부 성능 향상 가능.

의의 및 한계

**Engram 메모리는 외부 지식 저장소로서의 재사용 가능성을 입증**, 이는 모델 간 지식 이식 및 모듈화된 학습 시스템 설계에 기여.
**리더 설계가 성능에 결정적 역할**을 하므로, 타겟 모델에 맞춘 리더 개선이 필수적.
한계로는, **리더가 충분히 강력하지 않으면 메모리의 이식성이 저하**되며, **주소 매핑 오류**가 성능에 영향을 줄 수 있음.

실용적 활용

**모델 간 지식 이식**, 특히 **대규모 모델에서 소규모 모델로의 지식 전달**에 활용 가능.
**리더 기반 메모리 추출**은 모델 업데이트 없이 외부 지식을 통합할 수 있는 **효율적인 방법론** 제공.
**교육, 고객 지원, 정보 검색** 등 지식 기반 시스템에서 외부 메모리 재사용을 통해 **유연성과 확장성**을 높일 수 있음.