HumanScale: Egocentric Human Video Can Outperform Real-Robot Data for Embodied Pretraining

Embodied foundation models are expected to benefit from data scaling like large language models, but face a much tighter data bottleneck. Teleoperated real-robot trajectories remain the dominant pretraining source due to their precise action supervision and embodiment alignment, yet their scalability is limited by high collection cost, acquisition difficulty, and low behavioral and environmental diversity. These limitations have sparked interest in egocentric human video as a scalable, substantially lower-cost, and more diverse alternative for embodied model pretraining. However, its effectiveness compared to teleoperated real-robot data remains underexplored. To address this question, we conduct a systematic study comparing egocentric human video and teleoperated real-robot trajectories as pretraining data sources for embodied foundation models, under fixed post-training and validation protocols. Surprisingly, we find that egocentric data, when processed through a carefully designed filtering and labeling pipeline, is not merely a viable substitute for model pretraining but can lead to superior performance. With the same amount of pretraining data, models pretrained on egocentric data achieve a 24% lower validation loss on real-robot action prediction, as well as 52.5% and 90% higher success rates on in-distribution and out-of-distribution real-robot task execution, respectively. This finding verifies a scalable paradigm for embodied foundation models: pretrain on egocentric human video to learn diverse world representations, then adapt with a small amount of labeled real-robot data for action-space alignment. We hope this study encourages broader exploration of egocentric data and offers guidance for data quality assessment before costly robot data collection.

한 줄 요약

에고센트릭 인간 영상이 실체 기반 모델 사전학습에서 실로봇 데이터를 능가할 수 있음을 실증적으로 밝힘.

핵심 기여도

에고센트릭 데이터를 사용한 사전학습이 실로봇 데이터 대비 24% 낮은 검증 손실을 기록.
동일 분포 및 이질 분포 작업 성공률에서 각각 52.5%와 90% 개선.
필터링 및 라벨링 파이프라인을 통해 데이터 품질을 보장한 구체적 프로토콜 제시.
실로봇 데이터 수집 비용 절감을 위한 대체 학습 전략 제안.

핵심 아이디어

기존 실로봇 데이터는 정확한 액션 감독과 실체 정렬을 제공하지만, 수집 비용이 높고 행동 및 환경 다양성이 낮아 확장성이 제한된다. 본 연구는 에고센트릭 인간 영상이 이 문제를 해결할 수 있는 대안임을 제시한다. 연구팀은 동일한 사후 학습 및 검증 프로토콜 하에서, 에고센트릭 데이터가 단순히 대체가 아닌 **실제 성능 향상**을 유도할 수 있음을 밝혔다. 이는 인간의 시점에서 촬영된 영상이 다양한 환경과 행동 패턴을 포함하므로, 모델이 더 유연하고 일반화된 세계 모델을 학습하게 만든다는 통찰에 기반한다.

기술적 접근법

**Egocentric human video**를 **teleoperated real-robot trajectories**와 비교.
**필터링 및 라벨링 파이프라인**을 통해 에고센트릭 데이터의 품질을 보장.
동일한 **사전학습 데이터량**을 기준으로 비교 실험 수행.
**실로봇 액션 예측** 및 **작업 실행 성공률**을 주요 평가 지표로 사용.

주요 결과

**실로봇 액션 예측**에서 **24% 낮은 검증 손실** 달성.
**동일 분포 작업** 성공률에서 **52.5% 개선**, **이질 분포 작업**에서는 **90% 개선**.
에고센트릭 데이터 기반 사전학습이 실로봇 데이터 대비 **더 높은 일반화 능력**을 보임.

의의 및 한계

본 연구는 실체 기반 모델의 학습 전략을 재정의할 수 있는 가능성을 제시한다. 에고센트릭 데이터는 실로봇 데이터 수집의 비용과 시간을 줄이며, 모델의 일반화 능력을 향상시킬 수 있다. 그러나 에고센트릭 데이터는 인간 행동에 의존적이므로, **로봇 특화 작업**에서는 여전히 **실로봇 데이터의 보완이 필요**할 수 있다. 또한, 필터링 파이프라인의 효과는 데이터셋에 따라 달라질 수 있으므로, **데이터 품질 평가 기준**이 중요하다.

실용적 활용

에고센트릭 영상 기반 사전학습은 로봇 개발 초기 단계에서 **저비용으로 모델을 학습**할 수 있는 전략으로 활용 가능하다. 특히, **로봇 데이터 수집이 어려운 환경**이나 **다양한 작업을 학습해야 하는 상황**에서 유용하다. 이는 산업용 로봇, 서비스 로봇, 자율 주행 시스템 등에 적용 가능하다.