RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

Scaling robot learning requires massive, diverse trajectory data, yet collection is currently bottlenecked by physical teleoperation, where every demonstration binds operator time to specific hardware and workspaces. We introduce digital teleoperation, a paradigm that decouples data collection from physical constraints by replacing the real robot with a generative world model. In this framework, an operator's hand-pose stream drives a robot-centric generative world model to synthesize high-fidelity egocentric videos from a single reference image. The recorded pose stream serves as an embodiment-agnostic action label transferable to any target robot via standard retargeting, yielding complete state-action trajectories for imitation learning independent of physical hardware. We instantiate this paradigm in RynnWorld-Teleop, a system that integrates depth-aware skeletal conditioning, progressive human-to-robot training on a video Diffusion Transformer, and streaming autoregressive distillation. This pipeline compresses the generative process into a single-pass inference, enabling 40+ FPS, real-time interactive generation on a single H100 GPU. Policies trained exclusively on RynnWorld-Teleop-generated data achieve effective zero-shot Sim2Real transfer across dexterous and diverse bimanual tasks. Moreover, augmenting real-world datasets with our digitally teleoperated data consistently improves success rates, demonstrating that RynnWorld-Teleop serves as a high-fidelity, scalable data engine for the next generation of robotic agents.

한 줄 요약

RynnWorld-Teleop는 디지털 텔레오퍼레이션을 통해 로봇 학습 데이터를 실시간으로 생성하는 액션 조건부 월드 모델 시스템이다.

핵심 기여도

디지털 텔레오퍼레이션 패러다임을 제안: 조작자의 손 포즈 스트림이 로봇 중심의 생성 모델을 구동하여 단일 참조 이미지에서 고해상도 에고센트릭 비디오를 생성.
RynnWorld-Teleop는 40 FPS 이상의 실시간 생성을 지원하는 단일 H100 GPU에서 작동.
디지털 텔레오퍼레이션 데이터로 훈련된 정책이 다양한 이중손 조작 작업에서 제로샷 Sim2Real 전이 성공.
실제 데이터셋에 디지털 텔레오퍼레이션 데이터를 추가하면 성공률이 지속적으로 향상됨.

핵심 아이디어

기존의 물리적 텔레오퍼레이션은 로봇 학습 데이터 수집을 제한하는 주요 병목이다. RynnWorld-Teleop는 이 문제를 해결하기 위해 "디지털 텔레오퍼레이션"이라는 새로운 패러다임을 제시한다. 이는 실제 로봇 대신 생성 모델을 사용하여 조작자의 손 포즈 스트림을 기반으로 고해상도 에고센트릭 비디오를 생성하는 방식이다. 생성된 비디오와 함께 조작자의 포즈는 로봇 중심의 액션 라벨로 사용되어, 로봇의 구조와 무관하게 이식 가능하다. 핵심 아이디어는 다음과 같다:

1. **Depth-aware skeletal conditioning**: 21개 관절의 손 포즈를 카메라 거리에 따라 색상과 반지름을 조절하여 2D 잠재 조건 신호로 3D 정보를 명시적으로 전달.
2. **Progressive human-to-robot training**: 대규모 인간 에고센트릭 비디오로 사전 훈련 후, 인간-로봇 쌍 데이터로 미세 조정하여 체제 간 차이를 해소.
3. **Streaming autoregressive distillation**: 양방향 교사 모델을 인과적 학습 모델로 디스틸하여 실시간, 장기 생성 가능.

이러한 접근은 로봇 중심, 액션 기반, 실시간이라는 세 가지 필수 조건을 모두 충족하며, 기존 시스템이 달성하지 못한 통합적 텔레오퍼레이션을 가능하게 한다.

기술적 접근법

**Depth-aware skeletal conditioning**: 21-joint hand pose를 카메라 거리에 따라 색상과 반지름을 조절하여 2D 잠재 조건 신호로 3D 정보를 명시적으로 전달.
**Progressive human-to-robot training**: 대규모 인간 에고센트릭 비디오로 사전 훈련 후, 인간-로봇 쌍 데이터로 미세 조정.
**Streaming autoregressive distillation**: 양방향 교사 모델을 인과적 학습 모델로 디스틸하여 40+ FPS의 실시간 생성 가능.
**Wan-I2V 기반 아키텍처**: 3D VAE와 Transformer 기반 denoiser를 사용하며, 조건부 flow matching(CFM) 프레임워크를 기반으로 훈련.
**Inference**: ODE를 풀이하여 실시간 응답성을 보장하는 인과적 학습 모델 사용.

주요 결과

**Sim2Real 전이 성능**: RynnWorld-Teleop로 생성된 데이터만으로 훈련된 정책이 다양한 이중손 조작 작업에서 제로샷 Sim2Real 전이 성공.
**성능 개선**: 실제 데이터셋에 RynnWorld-Teleop 데이터를 추가하면 성공률이 지속적으로 향상됨 (수치 명시되지 않음).
**생성 속도**: 단일 H100 GPU에서 40+ FPS의 실시간 생성 가능.
**FVD/LPIPS 수치**: Concatenation 방식 대비 FVD 585 vs. 1191, LPIPS 0.453 등, 가산 방식이 훨씬 우수한 생성 품질 보장.

의의 및 한계

RynnWorld-Teleop는 로봇 학습 데이터 수집의 물리적 제약을 해소하고, 조작자의 상상력에만 의존하는 새로운 패러다임을 제시한다. 특히, 생성된 데이터가 정책 훈련에 직접 사용될 수 있어, 기존의 물리적 텔레오퍼레이션을 대체하거나 보완하는 데 유용하다. 또한, 대규모 인간 데이터셋에서 학습한 상호작용 패턴을 로봇 중심으로 전이함으로써, 체제 간 차이를 해소하는 데 기여한다.

하지만, 모델은 복잡한 물리 현상(예: 액체 역학, 고도로 변형 가능한 물체 조작)을 다루는 데 어려움이 있으며, 체제 간 차이를 해소하기 위해 플랫폼별 미세 조정이 필요하다는 한계가 있다. 이러한 문제를 해결하기 위해서는 더 풍부한 상호작용 데이터와, 로봇 운동학 기술자에 조건을 주는 교차 체제 월드 모델이 필요하다.

실용적 활용

RynnWorld-Teleop는 로봇 학습 데이터 생성을 대규모로 확장할 수 있는 도구로, 특히 로봇 제어 시스템 개발, 이중손 조작 작업, Sim2Real 전이 연구 등에 적용 가능하다. 또한, 실제 데이터 수집의 비용과 시간을 줄이며, 다양한 작업 환경에서의 학습 데이터를 효율적으로 생성할 수 있어 산업 현장에서의 로봇 자동화에 기여할 수 있다.