RynnVLA-Latent: Scaling Robotic Manipulation Foundation Models with 3D-Grounded Latent Actions

Scaling vision-language-action (VLA) models is constrained by scarce action-labeled demonstrations and incompatible control spaces across robot embodiments. We present RynnVLA-Latent, a framework that turns heterogeneous interaction videos into scalable supervision for robot policy pretraining. At its core, RynnLAM learns continuous, 3D-grounded latent actions from visual transitions without requiring native robot controls. By combining residual future-feature prediction, camera-compensated 3D-flow supervision, and camera-motion decoupling, RynnLAM encourages representations that capture control-relevant motion rather than appearance changes alone. We apply RynnLAM to 30.1K hours of human, robot, and simulation videos, producing 745.52M latent-action descriptors. RynnVLA-Latent then learns to predict latent-action chunks from visual observations and language through flow matching, before adapting its pretrained backbone and action expert to embodiment-specific robot actions. The resulting 4B policy achieves 98.8% success on LIBERO, 84.7% on LIBERO-Plus without benchmark-specific adaptation, 51.9% average success across five VLABench tracks, and 88.6% average success on the RoboTwin 2.0 bimanual benchmark. It also achieves the highest observed success rates among the compared methods on six real-world manipulation tasks across dexterous-hand and mobile-gripper platforms. Together with representation ablations and data-scaling results, these findings demonstrate the potential of latent-action supervision for scaling robot policy learning beyond native action-labeled data.

한 줄 요약

RynnVLA-Latent는 30.1K 시간의 이질적 영상 데이터를 활용해 4B 파라미터 정책을 학습하여 LIBERO, RoboTwin 2.0 등 다양한 로봇 조작 벤치마크에서 뛰어난 성능을 달성한 VLA 프레임워크이다.

핵심 기여도

RynnLAM 모듈을 통해 3D-기반 잠재 행동을 학습하여 로봇 제어 라벨 없이도 745.52M 개의 잠재 행동 기술자를 생성.
30.1K 시간의 인간, 로봇, 시뮬레이션 영상 데이터를 활용한 대규모 VLA 사전 학습.
4B 파라미터 정책이 LIBERO에서 98.8%, RoboTwin 2.0에서 88.6% 평균 성공률 달성.
6개의 실제 세계 조작 작업에서 비교 기법 대비 최고 성공률 기록.

핵심 아이디어

기존 VLA 모델은 로봇 제어 라벨이 부족하고, 다양한 로봇 구조 간 제어 공간이 호환되지 않아 확장에 어려움이 있었다. RynnVLA-Latent는 이 문제를 해결하기 위해 RynnLAM이라는 모듈을 도입하여, 로봇 제어 라벨 없이 시각 전이에서 3D-기반 잠재 행동을 추출한다. RynnLAM은 잔차 미래 특징 예측, 카메라 보상 3D-플로우 감독, 카메라 운동 분리 기법을 결합하여, 외관 변화가 아닌 제어와 관련된 운동을 포착하는 표현을 유도한다. 이는 로봇 제어 라벨 없이도 시각적 전이를 기반으로 잠재 행동을 학습할 수 있음을 보여준다.

기술적 접근법

**RynnLAM 모듈**: 잔차 미래 특징 예측, 카메라 보상 3D-플로우 감독, 카메라 운동 분리를 결합하여 3D-기반 잠재 행동을 학습.
**RynnVLA-Latent 정책**: 4B 파라미터로 구성된 Mixture-of-Transformers 정책. 시각-언어 백본과 좁은 행동 전문가를 결합.
**Flow Matching**: 시각 관측과 언어 입력으로부터 잠재 행동 청크를 예측.
**Embodiment-specific Post-training**: 사전 학습된 백본과 전문가를 재사용하면서 로봇 고유 제어 공간에 맞게 재정렬.
**데이터**: 30.1K 시간의 인간, 로봇, 시뮬레이션 영상으로 745.52M 개의 잠재 행동 기술자 생성.

주요 결과

**LIBERO**: 98.8% 성공률 (베이스라인 대비 +14.1%)
**LIBERO-Plus**: 84.7% 성공률 (베이스라인 대비 +12.0%)
**VLABench 5개 트랙 평균**: 51.9% 성공률
**RoboTwin 2.0**: 88.6% 평균 성공률
**실제 세계 6개 작업**: 비교 기법 대비 최고 성공률 기록
**LARY에서의 평가**: 0.38의 평균 상대 행동 MSE 기록

의의 및 한계

RynnVLA-Latent는 이질적 영상 데이터를 기반으로 로봇 제어 라벨 없이도 정책을 학습할 수 있는 새로운 접근법을 제시한다. 특히, RynnLAM을 통해 3D-기반 잠재 행동을 추출함으로써, 다양한 로봇 구조 간 호환성을 높이고, 대규모 데이터를 활용한 사전 학습이 가능하다는 점에서 학술적·실용적 의의가 있다. 그러나, 작업에 따라 성능이 달라지고, RoboTwin 2.0에서 기존 최고 기법보다 낮은 성능을 보이는 한계가 있다. 또한, 데이터 확장성과 모듈의 일반화 능력에 대한 추가 연구가 필요하다.

실용적 활용

RynnVLA-Latent는 다양한 로봇 플랫폼(예: 다지능 로봇, 이동형 그리퍼)에서의 조작 작업 자동화에 적용 가능하다. 특히, 로봇 제어 라벨이 부족한 상황에서 대규모 비정제 영상 데이터를 활용한 정책 학습이 필요한 산업 현장에서 유용할 수 있다. 또한, 시뮬레이션과 실제 세계 간의 정책 전이에도 활용 가능하다.