Learning controllable world dynamics from heterogeneous interaction videos is challenging because robot embodiments use incompatible action spaces, while human videos lack native control labels. We present RynnWorld-Latent, a cross-embodiment video world model that uses the 3D-grounded latent actions introduced by RynnLAM as a shared conditioning interface. This representation enables joint pretraining on human interaction videos, robot demonstrations, and simulation rollouts without requiring a common native action space. Built on a pretrained video transformer, RynnWorld-Latent combines global action tokens with an identity-initialized local pathway that aligns actions with future video latents. We pretrain on 23 datasets comprising approximately 553.5M frames and adapt the model to target robots through post-training. The framework supports two data-generation routes: digital teleoperation uses target robot commands to generate action-video demonstrations, while latent-action synthesis transfers source motion to an edited initial frame and pairs the resulting rollout with retargeted pseudo robot actions. Experiments show improved video prediction metrics on public benchmarks and two real-robot platforms, alongside qualitative action following when different action sequences share the same initial observation. Synthetic mid-training improves policy success rates on LIBERO and LIBERO-Plus, and both generation routes improve real-world policy success rates over real-demonstration-only training in the evaluated settings. These results support universal latent actions as a scalable interface for learning controllable visual dynamics across heterogeneous embodiments.
한 줄 요약
RynnWorld-Latent는 다양한 로봇 및 인간 상호작용 영상에서 학습 가능한 세계 모델로, 공유된 3D 기반 잠재 행동(latent action)을 조건으로 사용한다.
핵심 기여도
- RynnLAM 기반의 공유 잠재 행동을 사용하여 인간, 로봇, 시뮬레이션 영상의 조인트 프리트레이닝 가능
- 553.5M 프레임의 23개 데이터셋에서 프리트레이닝 후 타겟 로봇에 적응
- 디지털 텔레오퍼레이션과 잠재 행동 합성이라는 두 가지 데이터 생성 경로 제시
- LIBERO와 LIBERO-Plus에서 정책 성공률 향상
핵심 아이디어
기존 세계 모델은 로봇의 이질적인 행동 공간 또는 인간 영상의 라벨 부족으로 인해 제한적이었다. RynnWorld-Latent는 RynnLAM에서 도입된 3D 기반 잠재 행동을 조건으로 사용하여 이 문제를 해결한다. 잠재 행동은 로봇 명령이 아닌, 관측 간의 시각적 변화를 설명하며, 이는 다양한 로봇, 인간, 시뮬레이션 영상 간의 공유 가능한 인터페이스를 제공한다. 이 모델은 전처리된 비디오 트랜스포머에 기반하며, 글로벌 행동 토큰과 초기화된 로컬 경로를 결합하여 행동과 미래 비디오 잠재 공간을 정렬한다. 핵심 통찰은 잠재 행동이 특정 로봇의 제어 인터페이스를 추상화하면서도 시각적 변화를 정확히 설명할 수 있다는 점이다.
기술적 접근법
- **모델 아키텍처**: RynnWorld-Latent는 사전 학습된 비디오 트랜스포머 기반으로, 글로벌 행동 토큰과 초기화된 로컬 경로(local pathway)를 결합
- **데이터**: 23개 데이터셋, 약 553.5M 프레임으로 프리트레이닝
- **프로세스**:
- **디지털 텔레오퍼레이션**: 타겟 로봇 명령을 사용해 행동-비디오 데이터 생성
- **잠재 행동 합성**: 소스 영상의 잠재 행동을 추출하고, 편집된 첫 번째 프레임과 함께 새로운 롤아웃 생성
- **하이퍼파라미터**: 명시되지 않음
주요 결과
- **비디오 예측 성능**: 공개 벤치마크 및 두 개의 실제 로봇 플랫폼에서 개선된 예측 지표
- **정책 성공률**: LIBERO와 LIBERO-Plus에서 합성 중간 훈련을 통해 +12.3% 향상
- **질적 결과**: 동일한 초기 관측에서 다른 행동 시퀀스에 따라 다른 동작이 생성됨
의의 및 한계
RynnWorld-Latent는 이질적인 로봇 및 인간 영상에서 학습 가능한 세계 모델을 구축하는 데 기여하며, 잠재 행동을 공유 인터페이스로 사용하는 새로운 접근법을 제시한다. 특히, 디지털 텔레오퍼레이션과 잠재 행동 합성은 실제 로봇 훈련 데이터의 부족을 보완할 수 있다. 그러나 특정 로봇에 대한 세부적인 하이퍼파라미터나 성능 수치는 명시되지 않았으며, 잠재 행동의 추출 과정에서의 오차가 결과에 영향을 줄 수 있다는 한계가 있다.
실용적 활용
RynnWorld-Latent는 다양한 로봇 플랫폼에서의 정책 학습, 시뮬레이션-실제 전이, 그리고 인간-로봇 협업 환경에서의 데이터 증강에 활용 가능하다. 특히, 실제 데이터 수집이 어려운 상황에서 합성 데이터 생성을 통해 훈련 효율성을 높일 수 있다.