WCM: A World Critic Model for Vision-Language-Action Reinforcement Learning

Reinforcement learning (RL) post-training of Vision-Language-Action (VLA) models has shown strong promise for robotic manipulation. Among RL methods, critic-based approaches rely on a value estimator that predominantly operates on single-frame observations or single-frame VLM backbone latents, which is a fundamental mismatch with the partially observable nature of robot control. A naive approach to incorporate observation history into the critic incurs exponential complexity with high-dimensional visual space, and still fails because pure scalar-return regression provides insufficient supervision for learning cross-temporal dynamics. We identify the root cause as a state approximation problem: without an explicit world modeling objective, the critic's representation cannot capture the temporal structure needed for accurate value estimation. To address this, we propose the World Critic Model (WCM), built on a lightweight LeJEPA architecture; WCM jointly predicts future latent state and estimates values, such that the critic's representation is explicitly trained to capture temporal dynamics rather than merely regress scalar returns. WCM integrates seamlessly into both on-policy and off-policy training pipelines and is compatible with state-of-the-art VLA backbones including Pi0, Pi0.5, and OpenVLA-OFT. Extensive experiments on 149 tasks across four benchmarks demonstrate that WCM consistently achieves state-of-the-art performance in both in-distribution and out-of-distribution settings, with particularly strong generalization gains. We further validate WCM on seven real-world manipulation tasks using OpenVLA-OFT and Pi0.5 with off-policy RL, confirming stable deployment across diverse settings.

한 줄 요약

WCM은 VLA-RL에서 관찰 역사와 환경 역학을 동시에 학습하는 World Critic Model로, 149개 태스크에서 SOTA 성능을 달성했다.

핵심 기여도

기존 VLA-RL의 단점: 단일 프레임 또는 약한 감독의 관찰 역사로는 부분 관측 환경에서 정확한 상태 재구성을 실패.
WCM 제안: LeJEPA 기반으로 미래 잠재 상태 예측과 가치 추정을 결합한 통합 아키텍처.
149개 태스크에서 4개 벤치마크에서 SOTA 성능 달성, 특히 OOD 설정에서 강력한 일반화 능력.
7개 실제 세계 조작 태스크에서 OpenVLA-OFT와 Pi0.5와 함께 안정적인 배포 검증.

핵심 아이디어

기존 VLA-RL의 비판자(critic)는 단일 프레임 또는 VLM 잠재 공간만 사용하여 부분 관측 환경의 역학을 제대로 학습하지 못한다. 이는 단순한 스칼라 리턴 회귀가 시간적 역학을 학습하는 데 약한 감독을 제공하기 때문이다. WCM은 이 문제를 해결하기 위해 미래 잠재 상태 예측과 가치 추정을 결합한 통합 아키텍처를 제안한다. 이는 비판자의 표현이 단순한 리턴 회귀가 아닌 환경 역학을 학습하도록 강제한다. 이는 LLM에서의 next-token prediction과 유사한 아이디어로, 예측적 목표가 전이 가능한 표현을 학습하도록 유도한다는 점에서 유의미하다.

기술적 접근법

WCM은 LeJEPA 기반의 가벼운 아키텍처로, 미래 잠재 상태와 가치를 동시에 예측.
관찰 역사(예: 여러 프레임)를 입력으로 받아, 잠재 상태 예측과 가치 추정을 결합한 통합 학습.
WCM은 on-policy 및 off-policy 학습 파이프라인과 호환 가능.
Pi0, Pi0.5, OpenVLA-OFT와 같은 최신 VLA 백본과 호환.
학습 과정에서 미래 상태 예측과 가치 추정을 동시에 최적화하여, 비판자의 표현이 예측적 상태를 근사하도록 유도.

주요 결과

149개 태스크에서 4개 벤치마크에서 WCM은 in-distribution 및 out-of-distribution 설정에서 모두 SOTA 성능 달성.
7개 실제 세계 조작 태스크에서 OpenVLA-OFT와 Pi0.5를 사용한 off-policy RL로 안정적인 성능 유지.
기존 VLM-critic 기반 베이스라인 대비 더 높은 성능과 더 부드러운 작동.
관찰 역사 길이가 일정 이상 늘어나도 추가적인 성능 향상은 제한적.

의의 및 한계

WCM은 VLA-RL에서 부분 관측 환경의 역학을 학습하는 데 중요한 기여를 하며, 특히 OOD 설정에서의 일반화 능력이 뛰어나다. 이는 실제 로봇 제어에서 중요한 요소로, 다양한 환경에서 안정적으로 작동하는 정책을 학습할 수 있다는 점에서 실용적 가치가 크다. 그러나 WCM은 특정 최적의 관찰 역사 길이 이상에서는 성능 향상이 제한적이며, 이는 추가적인 연구가 필요하다. 또한, WCM은 다양한 VLA 백본과 호환되지만, 특정 아키텍처에 대한 최적화는 아직 명시되지 않았다.

실용적 활용

WCM은 로봇 조작, 자율 주행, 산업 자동화 등 다양한 부분 관측 환경에서의 정책 학습에 적용 가능하다. 특히, 실제 세계에서의 안정적인 정책 배포와 OOD 설정에서의 일반화가 필요한 상황에서 유용하다. OpenVLA-OFT와 Pi0.5와 같은 최신 VLA 모델과의 호환성은 WCM의 실용적 적용 범위를 넓힌다.