RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

Robotic manipulation in the open world requires not only recognizing what a scene looks like, but also anticipating how its 3D structure moves under interaction. We argue that synchronized RGB, depth, and optical flow, namely RGB-DF, provide a physically grounded representation that captures the underlying 4D dynamics of a scene. Compared to 2D pixel videos, this multi-modal synergy aligns visual appearance with geometric structure and temporal motion, creating a representation space significantly closer to the low-level end-effector actions demanded by robotic systems, thereby narrowing the gap between world prediction and policy learning. Building on this insight, we introduce RynnWorld-4D, a generative model that co-produces future RGB frames, depth maps, and optical flow from a single RGB-D image and a language instruction within one unified diffusion process. This 4D world model features a tri-branch architecture that integrates cross-modal attention with frame-wise 3D RoPE, ensuring that appearance, geometry, and motion evolve consistently. To supply training data at scale, we curate Rynn4DDataset 1.0, a massive dataset of over 254.4 million frames across egocentric human and robotic manipulation videos with high-quality pseudo-labels for depth and optical flow. We further propose RynnWorld-4D-Policy, an inverse dynamics head that consumes the internal 4D representations of RynnWorld-4D in a single forward pass, bypassing expensive multi-step denoising, to output robot actions in a closed-loop manner. Experiments show that RynnWorld-4D produces temporally and spatially coherent 4D predictions, and that RynnWorld-4D-Policy achieves state-of-the-art performance on real-world dexterous bimanual manipulation tasks, particularly excelling in tasks demanding spatial precision and temporal coordination.

한 줄 요약

RynnWorld-4D는 RGB-D 입력과 언어 지시에 기반해 4D 장면을 생성하는 세계 모델로, Rynn4DDataset 1.0을 통해 학습된 RynnWorld-4D-Policy는 이전 기법 대비 8.57% 높은 성능을 보인다.

핵심 기여도

RynnWorld-4D는 RGB, depth, optical flow를 동시에 생성하는 tri-branch 아키텍처를 도입.
Rynn4DDataset 1.0은 254.4억 프레임의 egocentric 영상에 pseudo-label을 적용한 대규모 4D 데이터셋.
RynnWorld-4D-Policy는 내부 4D 표현을 활용해 다중 단계 denoising 없이 즉시 로봇 동작을 생성.
RynnWorld-4D는 δ1 0.610, AEPE 0.170로 기존 4D 모델 대비 정확도 향상.

핵심 아이디어

기존 2D 기반 모델은 장면의 3D 구조와 시간적 변화를 정확히 포착하지 못해 정밀한 로봇 제어에 한계가 있었다. 이에 반해, RGB-DF(색상, 깊이, 광학 흐름)는 3D 위치와 운동 정보를 명시적으로 포함하며, 이는 로봇의 end-effector 동작과 더 밀접하게 연결된다. RynnWorld-4D는 이 RGB-DF를 하나의 diffusion process에서 동시에 생성하는 tri-branch 아키텍처를 도입하여, 시각적 외형, 기하 구조, 운동이 일관되게 진화하도록 보장한다. 또한, Joint Cross-Modal Attention과 frame-wise 3D RoPE를 통해 모달 간 일관성을 유지하며, Rynn4DDataset 1.0을 통해 대규모 학습 데이터를 확보함으로써 4D 표현의 정확도를 높였다.

기술적 접근법

**RynnWorld-4D**: RGB, depth, optical flow를 동시에 생성하는 tri-branch diffusion model.
각 branch는 독립적인 transformer로 구성되며, 공유된 cross-attention key/value를 통해 모달 간 상호작용.
Joint Cross-Modal Attention 모듈을 통해 모달 간 일관성을 강화.
frame-wise 3D RoPE를 적용해 3D 위치 정보를 유지.
**Rynn4DDataset 1.0**: 254.4억 프레임의 egocentric 영상에 pseudo-label을 적용한 4D 데이터셋.
**RynnWorld-4D-Policy**: 내부 4D 표현을 single forward pass로 활용해 로봇 동작을 생성.
다중 단계 denoising 없이 즉시 제어 가능.
3D 운동 및 기하 정보를 기반으로 정밀한 제어 수행.

주요 결과

**4D World Modeling**:
RynnWorld-4D는 δ1 0.610 (4DNeX: 0.327, TesserAct: 0.279)로 기하 정확도 향상.
AEPE 0.170 (기존 4D 모델 대비 유일하게 광학 흐름 생성).
**Policy Learning**:
RynnWorld-4D-Policy는 Lid Placement, Bowl Stacking에서 65.71% 성공률 (DP 대비 +8.57%).
Hand-over 태스크에서 기존 foundation model 대비 20% 이상 성능 향상.
Dual Picking에서 성공률 94.29% (ResNet-18 기반 baseline 대비 +22.86%).

의의 및 한계

RynnWorld-4D는 2D 기반 모델의 한계를 극복하고, 4D 장면 진화를 정확히 예측함으로써 로봇 제어의 신뢰성을 높인다. 특히, RynnWorld-4D-Policy는 내부 4D 표현을 활용해 2D 기반 모델이 갖는 3D 거리 추정 및 자가 가림 문제를 해결하며, 정밀한 시간-공간 조정이 필요한 태스크에서 우수한 성능을 보인다. 그러나, Rynn4DDataset 1.0은 pseudo-label을 사용하므로 실제 라벨 데이터에 비해 정확도가 낮을 수 있으며, 이는 모델의 일반화 능력에 영향을 줄 수 있다. 또한, RynnWorld-4D는 대규모 데이터셋이 필요하므로, 데이터 수집 및 라벨링 비용이 높은 점이 한계로 작용할 수 있다.

실용적 활용

RynnWorld-4D는 정밀한 3D-4D 장면 예측이 필요한 산업 로봇, 서비스 로봇, 의료 로봇 등에서 활용 가능하다. 특히, RynnWorld-4D-Policy는 실시간, 고주파 제어가 필요한 이중 팔 조작, 물체 전달, 정밀 조립 등에 적용할 수 있으며, 기존 2D 기반 정책 모델이 부족한 3D 운동 추정 능력을 보완할 수 있다.