EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies

Memory remains a critical bottleneck for long-horizon robotic manipulation, as standard Vision-Language-Action (VLA) policies often fail when task-relevant cues become occluded or unobservable over time. While existing memory-augmented methods utilize historical context, they either suffer from severe information bottlenecks, incur high latency via decoupled dual systems, or rely on unselective buffers that accumulate massive visual redundancies. To address these limitations, we introduce EventVLA, an end-to-end framework founded on the concept of sparse visual evidence memory that comprises two core components: foundational visual anchors to retain initial and short-term contexts, and a dynamic Keyframe Evidence Memory (KEM) module. Specifically, KEM directly predicts future keyframe probabilities from the VLA's latent embeddings to autonomously capture and store sparse, task-critical visual events. This foresight-driven mechanism empowers the policy to dynamically evaluate the future causal utility of current observations, preserving transient visual evidence before it becomes unobservable. Furthermore, we propose RoboTwin-MeM, a diagnostic benchmark specifically designed to evaluate non-Markovian manipulation tasks with interactive visual evidence. Extensive evaluations show that across 17 memory-requiring simulation tasks and 4 real-world bimanual tasks, EventVLA achieves an average success rate improvement of +40% over state-of-the-art memory-augmented VLAs.

한 줄 요약

EventVLA는 장기 비마르코프적 로봇 조작에서 성능을 향상시키기 위해 희소 시각 증거 메모리와 KEM 모듈을 결합한 엔드투엔드 프레임워크이다.

핵심 기여도

**Keyframe Evidence Memory (KEM)** 모듈을 도입하여 향후 키프레임 확률을 VLA 잠재 임베딩에서 직접 예측함으로써, 임시적 시각 증거를 자율적으로 저장.
**RoboTwin-MeM**이라는 새로운 진단 벤치마크를 제안, 8개의 비마르코프적 시나리오를 포함.
시뮬레이션 17개, 실제 이족 조작 4개 태스크에서 기존 메모리 증강 VLA 대비 평균 **+40% 성공률 향상**.
KEM의 예측 전략이 **75.2% 평균 성공률**을 달성하며, 기존 메모리 버퍼와 비교해 레드런던시를 최소화.

핵심 아이디어

기존 메모리 증강 VLA는 시각 정보의 레드런던시, 높은 지연, 정보 병목 현상으로 인해 비마르코프적 장기 조작에서 한계가 있었다. EventVLA는 **희소 시각 증거 메모리** 개념을 기반으로, **초기 및 단기 맥락을 유지하는 visual anchors**와 **KEM 모듈**을 결합하여 해결한다. KEM은 VLA의 잠재 임베딩에서 향후 키프레임 확률을 예측함으로써, **임시적 시각 증거를 사전에 캡처**하고 저장한다. 이는 **현재 관측의 미래 인과적 유틸리티를 동적으로 평가**할 수 있게 하며, 증거가 사라지기 전에 보존한다.

기술적 접근법

**Keyframe Evidence Memory (KEM)**: 향후 키프레임 확률을 VLA 잠재 임베딩에서 예측하여, 임시적 시각 증거를 자율적으로 저장.
**Visual Anchors**: 초기 프레임과 단기 히스토리 윈도우를 포함, 구조적으로 단순한 메모리 태스크 해결.
**Qwen3-VL 기반 오프라인 라벨링 파이프라인**: 키프레임 지도를 시연에서 자동 추출.
**NMS 후처리**와 **버퍼 크기 관리 (Nmax)**: 레드런던 프레임 방지 및 핵심 증거 보존.
**실행 청크 크기 (50)**: KEM의 예측 윈도우 확보.

주요 결과

**RoboTwin-MeM**에서 평균 **75.2% 성공률** 달성 (기존 메모리 기반 VLA 대비 향상).
**RMBench**에서 **67.8% 성공률** 기록.
실제 이족 조작 태스크에서 **80% 최대 성공률** 달성.
KEM 제거 시 성공률 **24.9%**로 급락, 레드런던시 방지 효과 입증.
버퍼 크기 제한 (Nmax=2) 시 성공률 **32.0%**로 하락, 버퍼 관리 중요성 강조.

의의 및 한계

EventVLA는 비마르코프적 장기 조작에서 **임시적 시각 증거의 사전 캡처 및 저장**을 가능하게 하며, 기존 메모리 버퍼와 비교해 **레드런던시를 최소화**하고 **성능을 향상**시킨다. RoboTwin-MeM은 비마르코프적 시나리오를 정확히 평가할 수 있는 진단 벤치마크로, 메모리 증강 정책의 평가를 강화한다. 그러나 KEM은 **사전 학습된 Qwen3-VL 모델에 의존**하며, **실시간 성능 프로파일링**은 부록에 제시되어 있어 추가 연구가 필요하다.

실용적 활용

EventVLA는 **복잡한 물체 이동, 장기 조작, 이족 작업** 등 비마르코프적 상황에서 활용 가능하며, **로봇 제조, 물류, 서비스 로봇 분야**에서 장기 실행의 신뢰성을 높이는 데 유용하다.