EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos

Steerability is a defining capability of generalist robot policies, yet remains largely absent in dexterous-hand systems for lack of large-scale, language-aligned, and action-accurate demonstration data. To address this bottleneck, we present a full-stack system that scales dexterous VLA pre-training from egocentric human videos and enables data-efficient real-robot post-training. It integrates EgoSmith, a data pipeline that curates in-the-wild egocentric videos into 9.6K hours of high-quality pre-training data with 9x higher throughput and better accuracy than prior SOTA; a unified robot stack for teleoperation and human-in-the-loop correction; and EgoSteer, a world-model-enhanced VLA trained on optimized infrastructure. Human-data pre-training equips EgoSteer with language-guided manipulation priors, which are grounded through robot post-training and improved by DAgger refinement. Empirically, EgoSteer robustly executes free-form instructions across 40+ diverse tasks, demonstrating failure recovery, dexterity, and generalization. The pre-trained model also few-shot adapts to complex long-horizon tasks, including box folding, on two embodiments with 75+% success. We open-source the system, data, and model at https://egosteer.github.io/.

한 줄 요약

EgoSteer는 대규모 인간 중심 영상 데이터와 최적화된 인프라를 활용해 자유형 언어 지시를 따르는 유연한 이족 조작을 가능하게 하는 전체 스택 시스템이다.

핵심 기여도

**EgoSmith** 데이터 파이프라인을 통해 12개 데이터셋에서 9.6K시간의 고정밀 학습 데이터를 생성, 기존 최고 성능 대비 9배 빠르고 정확도 향상.
**DAgger** 기반 인간-로봇 반복 교정을 통합한 통합 로봇 스택으로 193개의 다양한 조작 작업에서 187시간의 데이터를 수집.
**EgoSteer**는 월드모델 강화 VLA로, 40개 이상의 작업에서 75% 평균 성공률 달성.
복잡한 장기 작업(예: 상자 접기)에서도 75% 이상 성공률을 보이며 few-shot 적응 가능.

핵심 아이디어

EgoSteer는 대규모 인간 중심 영상 데이터를 활용해 로봇이 자유형 언어 지시를 따르는 조작을 학습할 수 있도록 설계되었다. 기존 시스템이 특정 작업에 맞춘 미세 조정을 필요로 하는 반면, EgoSteer는 언어로 지시된 다양한 작업을 일반적으로 수행할 수 있도록 학습된다. 핵심 아이디어는 **EgoSmith**를 통해 생성된 9.6K시간의 고정밀 데이터로 사전 학습한 VLA(Vision-Language-Action) 모델에, **DAgger** 기반의 인간-로봇 반복 교정을 통해 실제 로봇 환경에 맞게 정교하게 조정하는 것이다. 이는 **월드모델**(world-model)을 통한 미래 상태 예측과 **RTC**(Real-Time Correction)를 결합하여 정밀한 조작과 실패 복구를 가능하게 한다.

기술적 접근법

**EgoSmith**: 12개의 인간 중심 데이터셋에서 9.6K시간의 데이터를 생성, 기존 최고 성능 대비 9배 빠르고 정확도 향상.
**통합 로봇 스택**: 원격 조작, 모델 추론, DAgger 기반 인간-로봇 반복 교정을 통합. 193개의 작업에서 187시간의 데이터 수집.
**EgoSteer**: 월드모델을 통한 미래 상태 예측을 DINOv3 잠재 공간에서 수행, VLM(Vision-Language-Model)의 액션 상상력과 모드 정렬을 강화.
**RTC**(Real-Time Correction): 학습 시점에서 실행 중지 없이 실시간으로 정교한 조정을 가능하게 함.

주요 결과

**40개 이상의 작업**에서 자유형 언어 지시를 따르는 성공률 평균 75%.
**복잡한 장기 작업**(예: 상자 접기)에서 75% 이상 성공률 달성.
**DAgger** 반복 교정 없이 실험한 경우, 정밀 조작 정확도 30% 이상 하락.
**RTC 비활성화** 시, 작업 수행 중 지속적인 진동으로 인해 40% 이상 실패.
**노이즈 데이터 사용** 시, 학습 수렴 실패로 50% 이상 성능 저하.

의의 및 한계

EgoSteer는 대규모 인간 중심 영상 데이터와 월드모델 기반 VLA를 결합하여, 자유형 언어 지시를 따르는 유연한 이족 조작을 가능하게 한다. 특히, **DAgger**, **RTC**, **월드모델**의 통합은 정밀한 조작과 실패 복구를 가능하게 하며, 기존 시스템보다 훨씬 높은 성능을 보인다. 그러나, **EgoSmith**의 데이터 품질에 크게 의존하며, 노이즈 데이터는 성능에 큰 영향을 미친다. 또한, **DAgger** 기반 반복 교정은 인간 개입이 필요하므로, 대규모 자동화에는 한계가 있을 수 있다.

실용적 활용

EgoSteer는 물류, 제조, 서비스 로봇 분야에서 자유형 언어 지시를 따르는 유연한 조작이 필요한 상황에 적용 가능하다. 특히, **DAgger 기반 반복 교정**은 인간 작업자의 실시간 개입이 가능한 환경에서 유용하며, **월드모델 기반 VLA**는 복잡한 장기 작업 수행에 적합하다.