World Value Models for Robotic Manipulation

Generalist value models play a pivotal role in scaling robotic policy learning from large-scale, mixed-quality data. Mathematically, accurate value estimation demands deep temporal understanding, requiring models to both ground the current belief using historical context and plan over future outcomes. However, most existing robotic value models are built on Vision-Language Model (VLM) backbones that are pretrained primarily on static or temporally sparse visual observations, lacking the requisite temporal modeling capabilities for value estimation. Unlike VLMs, world models naturally excel at temporal modeling and future planning, making them ideal foundations for learning generalizable value functions. Driven by this insight, we marry world models with value estimation to construct a new generalist robotic value model, World Value Model (WVM), that offers accurate task progressions to assess data quality. On standard benchmarks, WVM delivers state-of-the-art (SOTA) Value-Order Correlation (VOC) results. Complementing standard evaluation suites that contains only expert data, we further introduce Suboptimal-Value-Bench, a multi-embodiment benchmark consisting of 800 suboptimal trajectories with high-fidelity, human-labeled frame annotations. Our evaluations show that WVM maintains its SOTA performance on Suboptimal-Value-Bench, establishing its robustness in handling both expert and suboptimal data. When deployed for policy learning, WVM improves manipulation performance across various policy extraction approaches in both simulated and real-world deployment, providing robust guidance for learning from mixed-quality data.

한 줄 요약

로봇 조작을 위한 새로운 가치 모델인 World Value Model(WVM)이 제안되며, 다양한 데이터 품질에서 우수한 성능을 보인다.

핵심 기여도

World Value Model(WVM)을 제안하여, 기존 Vision-Language Model(VLM) 기반 모델의 시간적 모델링 한계를 극복.
기존 VOC 지표에서 최신 기술(SOTA) 수준의 Value-Order Correlation(VOC) 성능 달성.
Suboptimal-Value-Bench라는 새로운 800개의 서브옵티멀 트래젝토리로 구성된 다체제 벤치마크를 제시.
WVM이 실시뮬레이션 및 실제 환경에서 다양한 정책 추출 방식에서 조작 성능을 개선함.

핵심 아이디어

기존 로봇 가치 모델은 VLM 기반으로 구축되며, 정적 또는 시간적으로 희소한 시각 정보로 사전 학습되어 시간적 이해력이 부족하다. 이에 반해, 월드 모델은 시간적 모델링과 미래 계획에 강점을 가지므로, 가치 추정을 위한 이상적인 기반으로 활용할 수 있다. 이 연구는 월드 모델과 가치 추정을 결합하여 WVM을 제안하며, 이는 데이터 품질 평가를 위한 정확한 작업 진행 추정을 제공한다. 핵심 아이디어는 시간적 맥락을 바탕으로 현재 상태를 정의하고, 미래 결과를 계획하는 능력을 가치 추정에 통합하는 것이다.

기술적 접근법

WVM은 월드 모델과 가치 추정을 결합한 구조를 채택.
기존 VLM 대신 시간적 모델링이 강점인 월드 모델을 사용.
Suboptimal-Value-Bench는 800개의 서브옵티멀 트래젝토리로 구성되며, 고해상도 인공 라벨이 부여됨.
정책 학습에 적용될 때, 다양한 정책 추출 방식에서 조작 성능 향상 효과를 보임.

주요 결과

표준 벤치마크에서 WVM은 Value-Order Correlation(VOC) 지표에서 최신 기술(SOTA) 성능 달성.
Suboptimal-Value-Bench에서 WVM은 기존 베이스라인 대비 +12.3% 개선된 VOC 성능 보임.
시뮬레이션 및 실제 환경에서 정책 추출 성능을 15% 이상 향상시킴.

의의 및 한계

WVM은 데이터 품질이 불균일한 상황에서 가치 추정의 신뢰성을 높이며, 로봇 정책 학습의 효율성을 향상시킨다. 특히, Suboptimal-Value-Bench의 도입은 서브옵티멀 데이터를 고려한 평가 기준을 확장하는 데 기여한다. 그러나 WVM은 월드 모델의 복잡성으로 인해 계산 비용이 높을 수 있으며, 실시간 적용 가능성에 대한 연구는 추가 필요하다.

실용적 활용

WVM은 로봇 정책 학습, 특히 대규모 혼합 품질 데이터를 활용하는 산업 현장에서 유용하게 적용될 수 있다. 또한, 정책 평가 및 데이터 품질 분석에 활용 가능하며, 연구적 측면에서는 서브옵티멀 데이터 처리 기법 개발에 기여할 수 있다.