ThinkWorld: World Imagination Reinforces Chain-of-Dynamics Reasoning

Vision-Language-Action (VLA) models have made substantial progress in robotic manipulation, but their generalization remains constrained by the diversity and coverage of action-labeled robot demonstrations. Human videos provide much broader behavioral and environmental experience, while learning from them faces a fundamental trade-off between scalable data and explicit action grounding. We introduce ThinkWorld, a VLA learning framework that grounds action reasoning in world dynamics and strengthens it through reinforcement learning with world imagination. ThinkWorld represents each action thought as a Chain-of-Dynamics (CoD), a sequence of discrete motion tokens that captures the intermediate dynamics connecting the current world to a future state and serves as a common action representation across embodiments. We first initialize CoD with action-labeled demonstrations, then predict the future induced by each CoD and reinforce those whose predictions better match the observed outcome. This enables videos without action annotations to provide direct supervision from observed state transitions, allowing human and robot experience to refine the same reasoning space. Experiments in simulation and on real robots demonstrate effective human-to-robot transfer and strong generalization to unseen tasks and environments.

한 줄 요약

ThinkWorld는 인간 동영상과 로봇 시연을 결합한 Chain-of-Dynamics(CoD) 기반 VLA 학습 프레임워크로, 강화 학습을 통해 세계 상상력을 기반으로 행동 추론을 강화한다.

핵심 기여도

CoD는 행동을 시간에 따른 이산 운동 토큰 시퀀스로 표현하여, 인간과 로봇 행동 간 공통 인터페이스를 제공한다.
CoD는 강화 학습을 통해 예측된 미래 상태와 실제 관측 상태의 일치 여부에 따라 강화되어, 라벨 없는 동영상에서도 학습 가능하다.
인간 동영상의 50% 비중이 로봇 학습 성능을 45.4%에서 47.8%로 향상시킨다.
CoD 기반 미래 예측은 코사인 유사도 0.74를 달성하며, 가장 동적인 영역에서 0.62의 정확도를 보인다.

핵심 아이디어

ThinkWorld는 행동을 단순한 명령어가 아닌, 세계의 변화를 유발하는 일련의 중간 동역학(Chain-of-Dynamics, CoD)으로 모델링한다. CoD는 이산 운동 토큰 시퀀스로 구성되어 있으며, 현재 상태에서 미래 상태로 이동하는 과정을 포착한다. 이는 인간 동영상과 로봇 시연이 공유할 수 있는 행동 표현 방식을 제공한다. CoD는 먼저 라벨이 있는 로봇 시연으로 초기화되며, 이후 예측된 미래 상태와 실제 관측 상태를 비교하여 강화 학습을 통해 개선된다. 이는 라벨 없는 동영상에서도 세계 변화를 통해 행동 추론을 학습할 수 있게 한다. CoD는 미래 예측을 통해 인간 행동과 로봇 행동 간의 공통 동역학 구조를 학습하고, 이를 통해 인간-로봇 간의 기술 전이와 일반화를 가능하게 한다.

기술적 접근법

CoD는 이산 운동 토큰 시퀀스로 구성된 행동 표현 방식이다.
Qwen3-VL 백본과 MolmoAct2 행동 전문가를 기반으로 CoD를 생성한다.
CoD는 미래 상태를 예측하고, 예측 결과와 실제 관측 상태의 일치 여부를 기준으로 강화 학습을 수행한다.
CoD 기반 미래 예측은 코사인 유사도 0.74를 달성하며, 가장 동적인 영역에서 0.62의 정확도를 보인다.
CoD는 주의력 시각화를 통해 행동 관련 동적 영역(예: 인간 손, 로봇 팔, 조작 대상)에 집중한다.
CoD는 미래 예측, CoD 생성, 세계 상상력 기반 강화 학습 등 단계별 학습 구성요소를 포함한다.

주요 결과

LIBERO-PRO 데이터셋에서 CoD 기반 학습이 55.6%의 성공률을 달성한다.
CoD는 미래 예측 성능에서 코사인 유사도 0.74를 달성하며, 가장 동적인 영역에서 0.62의 정확도를 보인다.
인간 동영상의 50% 비중이 로봇 학습 성능을 45.4%에서 47.8%로 향상시킨다.
CoD는 미래 예측, CoD 생성, 세계 상상력 기반 강화 학습을 추가함으로써 성능이 40.1%에서 55.6%로 향상된다.

의의 및 한계

ThinkWorld는 인간 동영상과 로봇 시연을 결합하여 행동 추론을 학습하는 새로운 접근법을 제시한다. CoD는 행동을 동역학적 변화로 모델링하여, 라벨 없는 데이터에서도 효과적인 학습이 가능하다. 이는 로봇 학습의 데이터 다양성과 일반화 능력을 향상시키는 데 기여한다. 그러나 CoD는 인간과 로봇의 행동 간 일관된 동역학 구조를 학습하기 위해 충분한 데이터가 필요하며, 특정 환경에서의 성능 저하 가능성도 존재한다. 또한, CoD는 행동의 물리적 의미를 포착하는 데 효과적이지만, 복잡한 다중 객체 상호작용 상황에서는 한계가 있을 수 있다.

실용적 활용

ThinkWorld는 인간 동영상과 로봇 시연을 결합하여 로봇이 다양한 환경과 작업에서 일반화된 행동을 학습할 수 있도록 지원한다. 이는 로봇 제작, 서비스 로봇, 산업 자동화 등에서 인간 기반의 행동 지식을 로봇에 전이하는 데 활용될 수 있다. 특히, 라벨 없는 대규모 인간 동영상 데이터를 활용하여 로봇 학습의 데이터 수집 비용을 절감할 수 있다.