Ego2Robot: Scalable Robot Data Synthesis from Egocentric Human Data

Learning generalizable robot manipulation policies requires large-scale and diverse demonstration data. Egocentric human manipulation videos offer rich scene and task diversity, and prior work has shown that retargeting and rendering such videos into robot-format data can yield effective per-task policies at small scale. However, whether this approach can provide pretraining benefits for vision-language-action models at scale remains unexplored. We present Ego2Robot, a scalable pipeline that converts egocentric human manipulation videos into robot training data through action retargeting, robot-arm visual synthesis, and multi-level quality curation. Ego2Robot supports both curated datasets and in-the-wild videos, producing 18,561 hours of robot training data spanning 15 robot morphologies, making it the largest ego-to-robot dataset to date. To evaluate generalization, we extend RoboTwin2.0 with disentangled perturbation axes covering visual appearance, scene layout, embodiment morphology, and task semantics. Experiments show that joint pretraining on Ego2Robot-synthesized and robot data consistently improves out-of-distribution generalization across multiple perturbation types, with benefits validated on real-robot deployment. Project page: https://www-ye.github.io/ego2robot_blog/

한 줄 요약

Ego2Robot은 인간 제1인칭 조작 영상에서 로봇 학습 데이터를 대규모로 생성하는 파이프라인으로, 18,561시간의 데이터를 생성해 일반화 성능을 향상시킨다.

핵심 기여도

Ego2Robot 파이프라인: 액션 리타겟팅, 로봇 팔 시각 합성, 다단계 품질 큐레이션 포함.
15개 로봇 형태에 걸쳐 18,561시간의 로봇 학습 데이터 생성 (현재까지 가장 큰 ego-to-robot 데이터셋).
RoboTwin2.0 기반 분리된 평가 프레임워크: 시각, 장면, 체형, 작업 의미 4축의 일반화 평가.
합성 데이터와 실제 로봇 데이터의 조합 학습이 out-of-distribution 성능을 3.6%~37.3% 개선.

핵심 아이디어

기존 로봇 학습 데이터 수집은 비용이 높고 다양성이 제한적이지만, 인간 제1인칭 조작 영상은 대규모로 수집 가능하며 풍부한 작업 정보를 포함한다. 그러나 인간과 로봇의 체형 차이로 인해 직접 변환은 어려움. Ego2Robot은 액션 리타겟팅과 시각 정렬을 통해 인간 영상에서 로봇 학습 데이터를 생성하며, 품질 큐레이션을 통해 데이터 신뢰도를 높인다. 이는 로봇 정책의 일반화 능력을 향상시키는 새로운 패러다임을 제시한다. 핵심 통찰은 인간 조작 영상에 내재된 상호작용 규칙이 로봇 학습에 유용하다는 점이다.

기술적 접근법

**Ego2Robot 파이프라인**: 액션 정렬(Action Alignment), 시각 정렬(Visual Alignment), 다단계 품질 큐레이션(Multi-level Quality Curation)을 포함.
**데이터 원천**: 4개 출처에서 1,940시간의 제1인칭 영상 처리.
**로봇 형태**: 15개 형태(예: UR5-WSG, ARX-X5, Franka Panda 등)로 합성.
**평가 프레임워크**: RoboTwin2.0 확장, 11개 독립적 퍼트urbation 설정 포함.
**하이퍼파라미터**: 테이블 높이 ±4cm, 카메라 시야 오프셋 ±5cm, 로봇 색상 랜덤 휴 변화 등.

주요 결과

**RoboTwin Randomized**: Ego2R(1 형태) 학습 시 31.7%, 15 형태 학습 시 33.5%, 15 형태 + raw ego 학습 시 37.3% 성능 달성.
**비교 개선폭**: raw ego 학습 대비 +3.6%~+9.2% 향상.
**실제 로봇 배포**: 합성 데이터와 실제 데이터 조합으로 멀티태스크 수행 가능.
**가장 큰 개선**: 시각, 체형, 의미 퍼트urbation에서 3.6%~9.2% 성능 향상.

의의 및 한계

Ego2Robot은 대규모 로봇 학습 데이터 생성을 위한 새로운 접근법으로, 인간 영상에서 로봇 정책의 일반화 능력을 향상시키는 데 기여한다. 특히, 시각적 불확실성, 체형 차이, 의미적 변형에 대한 내성을 높인다. 그러나 인간과 로봇의 체형 차이로 인한 도메인 간 격차는 여전히 존재하며, 이는 일부 퍼트urbation에서 성능 향상이 제한적일 수 있음을 시사한다. 또한, 합성 데이터의 품질은 품질 큐레이션 단계에 크게 의존한다.

실용적 활용

Ego2Robot은 로봇 제조사, 연구소, 교육 기관 등에서 대규모 학습 데이터 생성에 활용 가능하다. 특히, 실제 로봇 데이터 수집이 어려운 환경에서 멀티태스크 학습 및 일반화 능력 향상에 유용하며, 저비용으로 로봇 정책 개발을 가속화할 수 있다.