Metis: Memory Foundation Model

Recent advances in AI agents have increasingly internalized native capabilities into their underlying foundation models, giving rise to multimodal foundation models and large reasoning models. However, agent memory is still primarily implemented through external modules, leaving the native memory capability largely unexplored. In this paper, we take a first step toward this direction by introducing memory foundation models, which empower foundation models with native memory capabilities. We formalize native memory from two perspectives: a persistent and dynamically evolving memory state within the backbone, and native memory procedures that autonomously store and utilize information through model computation. We show that native memory offers advantages in architecture, end-to-end optimization, and efficiency. Based on this formulation, we propose Metis, the first prototype of memory foundation models. Metis introduces a new architecture that equips a foundation model with a native memory state, allowing historical information to be compressed into the model and accessed through memory attention. We construct large-scale memory-specific training data and introduce multiple optimization objectives to acquire these native memory procedures through mid-training. The online memory maintenance of Metis is gradient-free, and the memory update requires only a forward pass. At inference time, all learned model weights remain frozen, while the native memory states are autonomously transformed through standard forward computation. Through extensive experiments, we show that Metis exhibits native memory capabilities and further provide a detailed analysis of its strengths, limitations, and behaviors. To facilitate future research on memory foundation models, we release our project and model checkpoints.

한 줄 요약

Metis는 기존의 외부 메모리 모듈을 대체하는 첫 번째 내재 메모리 기반 모델로, 메모리 상태와 절차를 모델 내부에 통합하여 효율적이고 유연한 메모리 처리를 가능하게 한다.

핵심 기여도

**Metis**라는 첫 번째 내재 메모리 기반 모델을 제안.
**메모리 상태**와 **메모리 절차**를 모델 내부에 통합하여, 기존 외부 메모리의 제약(분리된 처리, 최적화 어려움)을 극복.
**메모리 어텐션**을 통해 과거 정보를 압축하고 접근 가능하게 함.
**중간 학습(mid-training)** 과정에서 **메모리 복원**, **메모리 연산**, **정규화** 목적 함수를 도입하여 내재 메모리 절차를 학습.

핵심 아이디어

기존 AI 에이전트는 메모리를 외부 모듈로 구현하여, 모델과 별도로 작동하도록 설계되었다. 그러나 이는 메모리와 모델 간의 분리로 인해 최적화가 어려우며, 추론 시 지연이 발생한다. Metis는 이러한 문제를 해결하기 위해, **내재 메모리**(native memory) 개념을 도입하여, 메모리 상태와 절차를 모델 내부에 통합한다.

Metis는 **메모리 상태**(memory state)를 모델의 파라미터 공간에 동적으로 표현하고, **메모리 절차**(memory procedure)는 모델의 순방향 계산 과정에 자율적으로 통합된다. 이는 **Fast Weight Programming**(FWP)을 기반으로 설계된 **Metis 블록**(Metis block)을 통해 구현되며, **하이퍼 메모리 블록**(hyper memory block)과 **로컬 메모리 블록**(local memory block)으로 구성된다.

이러한 접근은 메모리의 저장, 업데이트, 활용을 모델 내부에서 처리함으로써, 외부 메모리가 가지는 분리된 처리 단계와 최적화 어려움을 극복할 수 있다. 또한, 추론 시에는 학습된 가중치가 동결되며, 메모리 상태는 순방향 계산을 통해 자율적으로 변환된다.

기술적 접근법

**Metis 블록**: FWP 기반의 메모리 상태를 모델 내부에 통합.
**메모리 어텐션**: 과거 정보를 압축하고 접근 가능하게 함.
**중간 학습(mid-training)**: 메모리 복원, 메모리 연산, 정규화 목적 함수를 통해 내재 메모리 절차 학습.
**메모리 복원 목적 함수**: 메모리 상태의 압축 상한을 정의.
**메모리 연산 목적 함수**: 기억, 잊기, 업데이트 등의 연산 목표를 정의.
**정규화 목적 함수**: 복잡한 상황에서의 안정성 향상.
**메모리 유지**: 추론 시에는 가중치가 동결되고, 메모리 상태는 순방향 계산을 통해 자율적으로 변환.
**메모리 업데이트**: 순방향 패스만으로 이루어짐 (gradient-free).

주요 결과

**Metis**는 내재 메모리 기반 모델로서, 기존 외부 메모리 기반 모델과 비교해 **추론 지연 감소**와 **최적화 효율성 향상**을 보여준다.
**메모리 복원 목적 함수**와 **메모리 연산 목적 함수**를 통해 내재 메모리 절차가 효과적으로 학습됨.
**메모리 유지**는 추론 시 **가중치 동결** 상태에서 이루어지며, **메모리 상태는 순방향 계산**을 통해 자율적으로 변환됨.
**메모리 업데이트**는 **gradient-free** 방식으로, **단일 순방향 패스**만으로 수행됨.
**대규모 메모리 전용 학습 데이터**를 생성하여, 내재 메모리 절차를 학습하는 데 사용됨.

의의 및 한계

Metis는 기존 AI 에이전트에서 메모리를 외부 모듈로 구현하는 방식을 대체하는 첫 번째 내재 메모리 기반 모델로서, **모델 내부에 메모리 상태와 절차를 통합**함으로써 **추론 효율성**과 **최적화 가능성**을 동시에 향상시킨다. 이는 **대규모 추론 모델**(large reasoning models)과 유사한 방식으로, **내재 능력**(native capability)을 모델 내부에 통합하는 새로운 접근법을 제시한다.

그러나, Metis는 아직 **초기 프로토타입** 단계에 있으며, **복잡한 상황에서의 메모리 관리**나 **장기 기억 유지**에 대한 한계가 존재한다. 또한, **메모리 상태의 표현 방식**이나 **메모리 절차의 정확도**는 추가 연구가 필요하다.

실용적 활용

Metis는 **AI 에이전트**나 **대화형 시스템**에서 **자율적인 메모리 처리**가 필요한 상황에 적용 가능하다. 예를 들어, **대화 로봇**이나 **개인화된 추천 시스템**에서 과거 대화나 사용자 행동을 내재 메모리로 저장하고 활용할 수 있다. 또한, **실시간 추론**이 필요한 **자동화 시스템**이나 **로봇 제어**에도 활용 가능하다.