WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction

Vision-language-action (VLA) policies excel at generalist robotic manipulation but generate actions without explicitly modeling their environmental consequences. World action models (WAMs) incorporate future prediction, yet most rely on costly video generation, while latent alternatives either use predicted futures only as auxiliary targets or infer latent actions from suboptimal visual transitions through costly large-scale video pretraining. We introduce WAVE-0 (World-model-Augmented VLA Execution), a framework that bridges VLAs and WAMs through a lightweight latent world model. By connecting the semantic understanding of pretrained VLAs with explicit future prediction, WAVE-0 allows anticipated action consequences to directly guide action generation. Built on a pretrained VLA, its 257M world model translates VLM-generated latent action plans into predicted future representations that condition the action expert, unifying latent planning, future prediction, and action generation. The world model is trained directly on ground-truth robot actions with a counterfactual ranking objective, requiring neither pixel reconstruction nor large-scale video pretraining. WAVE-0 achieves success rates of 91.47% on RoboTwin 2.0 and 98.7% on LIBERO, along with 88.0%, 61.4%, and 75.0% on LIBERO-Plus, LIBERO-Pro, and LIBERO-Para, respectively. On real-world tasks, it improves the success rate of π_{0.5} from 38.3% to 73.3%. These results demonstrate strong manipulation performance and generalization across diverse distribution shifts.

한 줄 요약

WAVE-0는 가벼운 월드 모델을 통해 VLA 정책과 WAM을 결합하여 로봇 조작 성능을 향상시킨다.

핵심 기여도

257M 파라미터의 가벼운 월드 모델을 도입하여 VLA와 WAM을 통합.
대규모 비디오 프리트레이닝 없이, 실제 로봇 행동 데이터로 월드 모델을 학습.
RoboTwin 2.0에서 91.47%, LIBERO에서 98.7%의 성공률 달성.
실제 세계 작업에서 π_{0.5} 성공률을 38.3%에서 73.3%로 향상.

핵심 아이디어

WAVE-0은 VLA의 의미적 이해와 WAM의 미래 예측을 결합하는 새로운 접근법을 제시한다. 기존 WAM은 비디오 생성에 의존하거나, 대규모 프리트레이닝이 필요하지만, WAVE-0은 이 두 단점을 해결한다. 핵심 아이디어는 VLA가 생성한 잠재 행동 계획을 기반으로 미래 상태를 예측하는 가벼운 월드 모델을 도입하는 것이다. 이 모델은 실제 로봇 행동 데이터로 학습되며, 반사적 랭킹 목적(CR objective)을 사용해 픽셀 복원이나 대규모 비디오 학습 없이도 효과적인 미래 예측을 가능하게 한다.

기술적 접근법

**모델 구조**: 257M 파라미터의 월드 모델을 사용.
**학습 데이터**: 실제 로봇 행동 데이터 (ground-truth).
**학습 방법**: 반사적 랭킹 목적(CR objective)을 사용.
**입력**: VLA가 생성한 잠재 행동 계획.
**출력**: 예측된 미래 상태 표현.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**RoboTwin 2.0**: 91.47% 성공률 (베이스라인 대비 +53.17%).
**LIBERO**: 98.7% 성공률.
**LIBERO-Plus**: 88.0% 성공률.
**LIBERO-Pro**: 61.4% 성공률.
**LIBERO-Para**: 75.0% 성공률.
**실제 세계 작업**: π_{0.5} 성공률 38.3% → 73.3% (35.0% 향상).

의의 및 한계

WAVE-0은 VLA와 WAM의 장점을 결합하여 로봇 조작의 일반화 능력과 예측력을 동시에 향상시킨다. 특히, 대규모 프리트레이닝 없이도 높은 성능을 보이는 점은 학술적 및 실용적 의미가 크다. 그러나 특정 환경에서의 제한된 데이터셋에 대한 의존성은 한계로 작용할 수 있다. 또한, 월드 모델의 파라미터 크기(257M)는 여전히 상당한 계산 자원을 요구한다.

실용적 활용

WAVE-0은 실제 로봇 작업 환경에서 즉각적인 성능 향상이 필요한 산업, 예를 들어 제조, 물류, 서비스 로봇 분야에 적용 가능하다. 또한, 다양한 환경 변화에 대한 일반화 능력은 연구실 외에서도 유용하다.