Dual Latent Memory in Vision-Language-Action Models for Robotic Manipulation

Mainstream Vision-Language-Action (VLA) models predict actions primarily from the current observation under a Markovian assumption, thus struggling with long-horizon, temporally dependent tasks. Existing memory-augmented VLAs either expand the observation window or retrieve history from the memory bank as auxiliary policy-side context. However, they leave memory outside the native latent embedding space of VLA reasoning, preventing historical experience from being fluidly interleaved with multimodal reasoning and action formation. To this end, we introduce LaMem-VLA, a latent-memory-native framework that reconstructs historical experience into latent memory tokens and directly interweaves them with VLA reasoning. At its core, LaMem-VLA introduces four coordinated components: (i) a curator that organizes historical experience into two complementary short-term and long-term memory vaults; (ii) a seeker that queries both vaults using the multimodal cognition to retrieve context-relevant evidence; (iii) a condenser that reconstructs the retrieved evidence into compact short-term and long-term latent memory tokens; and (iv) a weaver that injects these memory tokens with the current observation and instruction into one continuous embedding sequence. By representing, retrieving, and consuming historical experience entirely in the same continuous latent space, LaMem-VLA enables memory to directly participate in VLA reasoning and guide action generation under a bounded context. Extensive experiments on SimplerEnv and LIBERO demonstrate the superiority of our LaMem-VLA.

한 줄 요약

LaMem-VLA는 VLA 모델의 단기적 시야 편향을 해결하기 위해 잠재 공간 내에서 이중 잠재 메모리 토큰을 생성하고 결합하는 새로운 프레임워크이다.

핵심 기여도

**이중 잠재 메모리 구조**: 단기 시각 메모리와 장기 의미 메모리를 별도의 vault로 구분하고, 이를 잠재 공간 내에서 결합하여 VLA 추론에 통합.
**4개의 협력 모듈**: curator, seeker, condenser, weaver를 통해 메모리의 생성, 검색, 압축, 결합을 구조화.
**성능 개선**: LIBERO에서 97.6% 성공률 (기존 MemoryVLA 대비 +1.1%, CogACT 대비 +4.4%), SimplerEnv에서 73.9% (CogACT 대비 +16.6%).
**메모리 통합 방식 비교**: 정책측 조건 조합 대비 잠재 공간 내 메모리 통합이 1.9~2.1% 성능 향상.

핵심 아이디어

기존 VLA 모델은 단일 관찰에 기반하여 행동을 예측하며, 시간에 따른 의존성을 고려하지 못해 장기적 작업 수행에 어려움이 있었다. LaMem-VLA는 이 문제를 해결하기 위해 **이중 잠재 메모리**(short-term과 long-term)를 도입하여, 과거 경험을 잠재 공간 내에서 토큰화하고 VLA 추론 과정에 직접 결합한다. 단기 메모리는 시각적 정보(예: 객체 위치, 상태 변화)를, 장기 메모리는 작업 진행, 의미적 맥락, 행동 연속성을 저장한다. 이 두 메모리는 **condenser**를 통해 고정 길이의 잠재 토큰으로 압축되고, **weaver**를 통해 현재 관찰과 지시와 함께 연속 잠재 시퀀스에 삽입된다. 이는 과거 정보가 VLA 모델의 내부 추론 과정에 자연스럽게 참여하도록 하여, 시간에 걸친 작업 수행 능력을 향상시킨다.

기술적 접근법

**4개의 핵심 모듈**:
**curator**: 과거 경험을 short-term vault(시각 정보)와 long-term vault(의미적 정보)로 분류.
**seeker**: 현재 multimodal state(시각 및 지시 토큰)를 기반으로 dual vault에서 관련 메모리를 검색.
**condenser**: 검색된 메모리를 고정 길이의 short-term (Ls=8) 및 long-term (Ll=4) 잠재 메모리 토큰으로 압축.
**weaver**: 압축된 메모리 토큰을 현재 관찰과 지시와 결합하여 연속 잠재 시퀀스로 삽입.
**하이퍼파라미터**:
단기 메모리 토큰 수: 최적값 Ls=8
장기 메모리 토큰 수: 최적값 Ll=4
검색 단위 수 K: 최적값 K=8 (성능 최대화)

주요 결과

**LIBERO 데이터셋**: 97.6% 성공률 (기존 MemoryVLA 대비 +1.1%, CogACT 대비 +4.4%)
**SimplerEnv-Bridge**: 73.9% 성공률 (CogACT 대비 +16.6%, π0 대비 +4.7%)
**이중 메모리 제거 실험**:
SimplerEnv: 57.3% (기본 VLA 대비 -16.6%)
LIBERO-90: 92.1% (기본 VLA 대비 -5.0%)
**정책측 조건 대비 잠재 통합**:
SimplerEnv: 71.9% → 73.9% (+2.0%)
LIBERO-90: 94.8% → 97.0% (+2.2%)

의의 및 한계

LaMem-VLA는 VLA 모델의 내재적 잠재 공간에 메모리를 통합함으로써, 과거 경험을 추론 과정에 자연스럽게 결합하는 새로운 접근법을 제시한다. 이는 기존의 외부 메모리 조건 방식과 달리, **동일한 잠재 공간 내에서 메모리와 관찰, 지시가 상호작용**함으로써 장기적 작업 수행 능력을 향상시킨다. 특히, 단기 및 장기 메모리의 **보완적 역할**을 실험적으로 입증하며, 이는 VLA 모델의 시간 인식 능력을 강화하는 데 기여한다. 그러나 현재 연구는 **실제 로봇 환경에서의 성능 검증이 부족**하며, 메모리 압축 과정에서 정보 손실 가능성도 언급된다.

실용적 활용

LaMem-VLA는 장기적 작업 수행이 필요한 로봇 조작, 특히 다단계 작업에서 과거 상태와 의미적 맥락을 고려해야 하는 상황에 유용하다. 예를 들어, **가정용 로봇**이 장기적 작업 계획을 수립하거나, **공장 자동화**에서 복잡한 조립 과정을 추적하는 데 적용 가능하다. 또한, **시뮬레이션 기반 학습**에서 메모리 기반 학습을 강화하는 데 활용될 수 있다.