AtlasVLA: Persistent World-Ego State Modeling for Vision-Language-Action Models

While Vision-Language-Action (VLA) models have advanced embodied AI, their fundamentally reactive paradigm severely limits performance in partially observable and long-horizon tasks. When restricted to a single wrist-mounted camera, they inevitably suffer from perception forgetting as objects exit the field of view, and temporal task-progress forgetting} during multi-step execution. To overcome these bottlenecks, we propose AtlasVLA, a novel framework that transitions from direct reactive manipulation to proactive reasoning through a persistent world-ego state. AtlasVLA features a dual-memory architecture: a 4D Persistent World State Memory that lifts transient 2D observations into a globally updated, voxel-hashed spatial state to resolve visual blind spots, and an Ego-Working State Memory that tracks historical ego state and task progress. By conditioning a diffusion transformer (DiT) on this joint World-Ego state, AtlasVLA enables robust spatial reasoning. Extensive evaluations across LIBERO, RLBench, and real-world benchmarks demonstrate that AtlasVLA achieves state-of-the-art performance using solely a wrist camera. Remarkably, it decisively outperforms multi-view baselines, yielding absolute success rate improvements of 9.4% on LIBERO-Long and 17.5% in real-world long-horizon tasks.

한 줄 요약

AtlasVLA는 단일 워리스트 카메라로 장기적 작업을 수행하는 데 있어 지속적 세계-자기 상태를 모델링하여 기존 VLA 모델의 한계를 극복한 새로운 프레임워크이다.

핵심 기여도

기존 VLA 모델의 공간적 부분 관측과 시간적 작업 진행 잊음 문제를 명확히 정의.
4D 지속적 세계 상태 메모리와 자기-작업 상태 메모리를 통합한 **AtlasVLA** 프레임워크 제안.
단일 워리스트 카메라 기반으로 **LIBERO-Long에서 9.4%**, 실세계 장기 작업에서 **17.5%** 성공률 향상.
**DiT**(Diffusion Transformer)를 세계-자기 상태에 조건화하여 정확한 행동 생성.

핵심 아이디어

기존 VLA 모델은 즉각적인 관측에 의존하는 반응형 구조로, 장기적 작업과 부분 관측 환경에서 성능이 급격히 저하된다. 특히, 워리스트 카메라로만 작업할 경우, 물체가 시야 밖으로 벗어나면 **공간적 관측 잊음**(perception forgetting)이 발생하고, 작업 단계가 늘어날수록 **작업 진행 잊음**(task-progress forgetting)이 나타난다. 이러한 문제를 해결하기 위해 AtlasVLA는 **지속적 세계-자기 상태**(persistent world-ego state)를 유지하는 새로운 프레임워크를 제안한다. 이는 인간이 내부 세계 모델을 통해 부분 관측 환경에서도 지속적으로 작업을 수행하는 방식을 모방한 것이다. 핵심 아이디어는 **반응형 관측 → 행동** 패러다임에서 벗어나, **관측 → 잠재 상태 업데이트 → 지속적 세계 상태 → 미래 행동**의 순환 구조를 구축하는 것이다.

기술적 접근법

**4D 지속적 세계 상태 메모리**(Persistent World State Memory):
**voxel-hashed 공간 맵**을 사용하여 2D 관측을 4D 잠재 공간으로 변환.
**이웃 융합**(neighborhood fusion)과 **슬라이딩 윈도우**(sliding window)를 통해 전역 상태를 업데이트.
**자기-작업 상태 메모리**(Ego-Working State Memory):
과거 자기 상태와 작업 진행을 추적하여 **의도 드리프트**(intention drift) 방지.
**DiT**(Diffusion Transformer):
지속적 세계 상태와 자기-작업 상태를 조건으로 하여 정확한 행동 생성.
**4D 위치 임베딩**(positional embedding):
공간과 시간 정보를 결합하여 **공간-시간 추론**을 지원.
**TSDF**(Truncated Signed Distance Function) 기반의 **voxel 집계**(voxel aggregation)를 사용한 메모리 업데이트 전략.

주요 결과

**LIBERO-Long** 데이터셋에서 **9.4%**의 절대 성공률 향상 (기존 베이스라인 대비).
**실세계 장기 작업**에서 **17.5%**의 절대 성공률 향상.
**LIBERO**에서 **97.6%**, **RLBench**에서 **70.8%**의 성공률 달성.
**π₀**(pi_0) 기반 모델 대비 **부분 관측 환경에서의 회복력**(resilience) 향상.

의의 및 한계

AtlasVLA는 단일 워리스트 카메라로도 장기적 작업을 수행할 수 있는 새로운 패러다임을 제시한다. 기존 VLA 모델이 반응형 구조로 인해 부분 관측 환경에서 실패하는 문제를 해결하고, **지속적 세계 상태**를 유지함으로써 **공간-시간 추론**을 가능하게 한다. 특히, **4D 지속적 세계 상태 메모리**와 **자기-작업 상태 메모리**의 통합은 기존 연구에서 다루지 않았던 핵심 기술이다. 그러나, **메모리 업데이트 전략**이나 **voxel 해시 공간의 정밀도**는 여전히 개선이 필요한 부분이며, **복잡한 환경에서의 확장성**에 대한 추가 연구가 필요하다.

실용적 활용

AtlasVLA는 **로봇 자율 작업**(autonomous robotic manipulation), **산업 자동화**(industrial automation), **서비스 로봇**(service robotics) 등에서 유용하게 활용될 수 있다. 특히, **단일 카메라로도 장기 작업을 수행**할 수 있는 점에서, **설치 비용과 복잡도를 줄이면서도 높은 성능을 유지**하는 시스템 구축에 적합하다.