Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence

Spatial intelligence is becoming a foundation for embodied agents, robotic planning, and multimodal assistants. To improve the spatial reasoning ability of VLM agents, existing work has mainly followed two lines. One line uses post-training methods, such as supervised fine-tuning and reinforcement learning. Another line adopts an agentic paradigm in which the model calls external spatial tools, such as depth estimation and 3D reconstruction tools, to gather intermediate spatial evidence. We study a complementary and underexplored route: Can a frozen VLM agent improve its spatial reasoning through parameter-update-free self-evolution, without depending on external expert spatial tools at inference time? We present Spatial Memory Agent (SMA), an experience-grounded runtime framework that converts verified spatial experience into reusable transferable lessons. In a verifiable spatial environment, SMA queries the frozen VLM, obtains a predicted answer and reward, and uses verifier-guided reflection to distill compact transferable lessons from spatial experience. SMA further assigns each lesson a Transfer Reliability Score (TRS), which is initialized uniformly and calibrated from later retrieval outcomes as visit evidence of future transfer reliability. During read-only deployment, SMA retrieves lessons by semantic filter and similarity-TRS combined ranking, allowing the retrieved memory to guide frozen model inference. Across five representative spatial benchmarks and four base VLMs, SMA achieves the highest macro average in every base-model block and the best accuracy among the evaluated methods in most of the 20 evaluations, establishing a practical parameter-update-free path for spatial self-evolution across the evaluated frozen model scales and environments.

한 줄 요약

SMA는 학습 없이 공간 경험을 재사용 가능한 교훈으로 전환하여 동결된 VLM의 공간 추론을 향상시키는 런타임 프레임워크이다.

핵심 기여도

SMA는 동결된 VLM에 학습 없이 공간 경험을 기반으로 재사용 가능한 교훈을 전달하는 **experience-grounded training-free** 프레임워크를 제시함.
**Verifier-guided reflection**을 통해 공간 경험에서 **compact transferable lessons**을 추출하고, **Transfer Reliability Score (TRS)**를 사용해 교훈의 전이 가능성을 평가함.
5개의 대표적인 공간 벤치마크와 4개의 기반 VLM에서 평가했으며, 20개 평가 중 대부분에서 **가장 높은 정확도**를 달성함.

핵심 아이디어

기존 연구는 공간 추론 능력을 향상시키기 위해 학습 후 조정(예: fine-tuning, reinforcement learning)이나 외부 공간 도구(예: depth estimation, 3D reconstruction)를 사용하는 두 가지 접근을 주로 따랐다. 이에 반해, 본 연구는 **parameter-update-free self-evolution**이라는 새로운 관점을 탐구한다. 즉, 동결된 VLM이 외부 도구 없이도 공간 추론을 개선할 수 있는지, 그리고 이는 공간 경험을 기반으로 **재사용 가능한 교훈**을 추출하는 방식으로 가능할 수 있는지를 연구한다.

SMA는 **verifier-guided reflection**을 통해 공간 문제의 예측 결과와 보상 정보를 바탕으로 **transferable lessons**을 추출하고, 이 교훈에 **Transfer Reliability Score (TRS)**를 할당함으로써 미래 문제에 얼마나 잘 전이될 수 있는지를 평가한다. 이는 학습 없이도 공간 지능을 발전시키는 실용적인 경로를 제시한다.

기술적 접근법

**SMA (Spatial Memory Agent)**: 동결된 VLM에 외부 메모리 은행을 추가하여 학습 없이 공간 경험을 기반으로 추론을 개선하는 런타임 프레임워크.
**Verifier-guided reflection**: 공간 문제의 예측 결과와 보상 정보를 바탕으로 공간 경험에서 **compact transferable lessons**을 추출.
**Transfer Reliability Score (TRS)**: 각 교훈에 할당된 점수로, 초기에는 균일하게 설정되며, 이후 **visit evidence**를 통해 온라인으로 교정됨.
**Semantic filter + similarity-TRS combined ranking**: **read-only deployment** 시, 의미 필터와 유사도-TRS 복합 순위를 사용하여 가장 신뢰할 수 있는 교훈을 추출하여 추론에 활용.
**기반 VLM**: 4개의 VLM (명시되지 않음)을 사용하여 평가.

주요 결과

5개의 대표적인 공간 벤치마크와 4개의 기반 VLM에서 평가됨.
20개 평가 중 대부분에서 **가장 높은 정확도**를 달성.
**Macro average**에서 모든 기반 모델 블록에서 **가장 높은 평균 성능**을 기록.
학습 없이도 공간 추론 성능을 향상시키는 **parameter-update-free path**를 실증적으로 입증.

의의 및 한계

SMA는 학습 없이도 공간 추론 능력을 향상시키는 새로운 접근법을 제시하며, 기존의 학습 기반 접근법과 외부 도구 사용을 보완하는 실용적인 경로를 제시한다. 특히, **Verifier-guided reflection**과 **TRS 기반의 교훈 선택**은 공간 경험을 기반으로 한 추론의 신뢰도를 높이는 데 기여한다.

그러나, SMA는 **기존 VLM의 초기 성능에 의존**하며, 외부 **verifier 시그널**이 필요한 환경에서만 작동한다는 한계가 있다. 또한, **TRS의 초기값**이 균일하게 설정되므로, 초기 교훈의 신뢰도 평가가 정확하지 않을 수 있다.

실용적 활용

SMA는 **로봇 플래닝**, **멀티모달 어시스턴트**, **임베디드 에이전트** 등에서 학습 없이도 공간 추론 능력을 발전시키는 데 활용될 수 있다. 특히, **동결된 모델을 유지하면서도 지속적으로 경험을 학습**하는 시스템 구축에 적합하다.