Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience

World models enable embodied agents to anticipate action consequences, yet jointly modeling locomotion and manipulation across diverse embodiments remains challenging due to heterogeneous action spaces and limited multimodal supervision. We present Ropedia W0, the first egocentric loco-manipulation world foundation model spanning humans and robots with diverse embodiments. We curate Xp-Data, comprising 10k hours of egocentric human data and 3k hours of robot data with unified multimodal annotations and systematic quality control. A unified kinematic representation encodes locomotion through camera poses and manipulation through projected skeletons, with robot skeletons combining embodiment-specific forward kinematics with extensive manual keypoint annotation and correction. We also introduce Xp-Teleop, a long-horizon loco-manipulation benchmark based on high-quality dexterous humanoid teleoperation data. Evaluations demonstrate state-of-the-art performance across five cross-embodiment benchmarks (DreamDojo, Ψ_0, ω-HOME, Xp-Teleop, and AgiBot) and on held-out human egocentric video, from zero-shot inference to few-shot and full-data post-training. Scaling human pre-training data improves performance on both human and robot evaluations. After distillation, our model supports real-time, minute-long rollouts, enabling live VR interaction. Applications in policy evaluation, model-based planning, and world-action modeling further demonstrate the model's utility for embodied decision-making.

한 줄 요약

Ropedia W0는 인간과 로봇의 다양한 형태에서 로코-조작 월드 모델을 학습하는 첫 번째 통합 모델로, Xp-Data와 Xp-Teleop를 통해 성능을 검증한다.

핵심 기여도

Ropedia W0는 인간과 로봇의 다양한 형태에서 로코-조작 월드 모델을 학습하는 첫 번째 통합 모델이다.
Xp-Data는 10,000시간의 인간 데이터와 3,000시간의 로봇 데이터를 포함하며, 통일된 멀티모달 어노테이션이 적용되었다.
Xp-Teleop는 로봇 텔레오퍼레이션 기반의 장기적 로코-조작 벤치마크를 제시한다.
모델 확장 분석에서 인간 데이터 증가가 인간 및 로봇 평가에서 PSNR 2.3 dB 이상 향상됨을 보여준다.

핵심 아이디어

Ropedia W0는 다양한 형태(embodiment)를 가진 인간과 로봇의 움직임과 조작을 통합적으로 예측하기 위해, 카메라 포즈와 투영된 스켈레톤을 기반으로 한 통일된 운동학적 표현을 도입하였다. 이는 인간의 운동과 로봇의 조작을 동일한 시각적 형식으로 표현하면서도, 각 형태 고유의 기하학적 구조를 유지한다. 특히, 로봇 스켈레톤은 로봇 고유의 전방 운동학(FK)과 수동적으로 어노테이션된 키포인트를 결합하여 정확도를 높인다. 이 표현 방식은 사전 학습, 중간 학습, 후처리 학습에 걸쳐 일관되게 사용된다.

기술적 접근법

**Xp-Data**: 10,000시간의 인간 데이터와 3,000시간의 로봇 데이터로 구성된 데이터셋. 통일된 운동학적, 기하학적, 의미적 어노테이션 포함.
**통일된 운동학 표현**: 카메라 포즈로 시점 변화를, 투영된 스켈레톤으로 조작을 표현.
**Xp-Teleop**: 로봇 텔레오퍼레이션 데이터 기반의 장기적 로코-조작 벤치마크.
**모델 구조**: 비디오 확산 모델과 통일된 운동학 조건 인터페이스를 결합.
**학습 전략**: 5B 및 A14B 규모 모델 사용. 1%의 후처리 데이터로도 기존 모델 대비 PSNR 4.8~7.1 dB 향상.
**디스틸레이션**: 4단계 5B 학습 모델은 21.3 fps로 실시간 VR 상호작용 가능.

주요 결과

**DreamDojo, Ψ₀, ω-HOME, Xp-Teleop, AgiBot** 5개 벤치마크에서 최고 성능 달성.
**AgiBot 데이터셋에서 PSNR 20.88 dB (기존 18.60 dB 대비 +2.28 dB)**.
**Ψ₀ 데이터셋에서 PSNR 21.98 dB (기존 19.83 dB 대비 +2.15 dB)**.
**Xp-Teleop에서 PSNR 21.3 dB, 1분 이상 실시간 롤아웃 가능**.
**5B 모델에서 1% 후처리 데이터로도 기존 100% 데이터 모델 대비 PSNR 2.3 dB 우수**.
**A14B 모델은 5B 대비 PSNR 2.2 dB 향상**.

의의 및 한계

Ropedia W0는 인간 경험을 기반으로 로봇 월드 모델링을 확장할 수 있는 가능성을 제시하며, 다양한 형태 간의 예측 성능을 높이는 데 기여한다. 특히, Xp-Data는 인간과 로봇 데이터를 통일된 형식으로 제공함으로써, 기존 데이터셋의 어노테이션 부족 문제를 해결한다. 그러나, 모델은 여전히 특정 형태에 대한 정확한 운동학적 표현이 필요한 만큼, 로봇 키포인트의 수동 어노테이션이 필수적이다. 또한, 장기적 예측에서의 정확도는 여전히 한계가 있으며, 더 많은 데이터와 모델 규모 확장이 필요하다.

실용적 활용

Ropedia W0는 정책 평가, 모델 기반 계획, 월드-액션 모델링 등 다양한 실용적 응용이 가능하다. 특히, 실시간 VR 상호작용을 지원하여 로봇 시뮬레이션 및 훈련 환경에 활용할 수 있다. 또한, 다양한 형태 간의 예측 성능 향상은 인간-로봇 협업 및 자율 시스템 개발에 기여할 수 있다.