HumanNet: Scaling Human-centric Video Learning to One Million Hours

Progress in embodied intelligence increasingly depends on scalable data infrastructure. While vision and language have scaled with internet corpora, learning physical interaction remains constrained by the lack of large, diverse, and richly annotated human activity data. We present HumanNet, a one-million-hour human-centric video corpus that captures how humans interact with the physical world at scale. HumanNet spans both first-person and third-person perspectives and covers fine-grained activities, human-object interactions, tool use, and long-horizon behaviors across diverse real-world environments. Beyond raw video, the dataset provides interaction-centric annotations, including captions, motion descriptions, and hand and body-related signals, enabling motion-aware and interaction-aware learning. Beyond scale, HumanNet introduces a systematic data curation paradigm for embodied learning, where human-centric filtering, temporal structuring, viewpoint diversity, and annotation enrichment are treated as first-class design principles. This design transforms unstructured internet video into a scalable substrate for representation learning, activity understanding, motion generation, and human-to-robot transfer. We conduct a first-step validation on the value of this design through controlled vision-language-action ablation: under a fixed set of validation data, continued training from the Qwen VLM model with 1000 hours of egocentric video drawn from HumanNet surpasses the continued training with 100 hours of real-robot data from Magic Cobot, indicating that egocentric human video could be a scalable and cost-effective substitute for robot data. By building this project, we aim to explore the opportunity to scale embodied foundation models using human-centric videos, rather than relying solely on robot-specific data.

📋 한 줄 요약

**[Embodied AI · 데이터셋]** 1인칭/3인칭 시점을 모두 포함한 100만 시간 규모의 인간 중심 영상 코퍼스 HumanNet을 공개하고, 1,000시간 에고센트릭 영상으로 계속학습한 VLM이 100시간 실제 로봇 데이터로 학습한 모델을 능가함을 보였다.

🎯 핵심 기여도

100만 시간 규모 인간 중심 비디오 코퍼스 HumanNet 구축 및 공개
1인칭·3인칭, 인간-객체 상호작용, 도구 사용, 장기 행동을 포괄하는 다양성 확보
캡션·모션 기술·손/신체 신호 등 상호작용 중심 풍부한 주석 제공
인간 중심 필터링, 시간 구조화, 시점 다양성, 주석 풍부화를 체계적 큐레이션 원칙으로 정립

💡 핵심 아이디어

로봇 데이터는 비싸고 희소하지만 인간 영상은 인터넷 규모로 존재한다. HumanNet은 비구조 인터넷 영상을 체계적 큐레이션 파이프라인을 통해 embodied 학습용 스케일러블 기질로 변환하며, 인간 에고센트릭 영상이 로봇 데이터의 비용 효율적 대체재가 될 수 있음을 검증한다.

🔬 기술적 접근법

**모델/방법론**: 큐레이션 파이프라인 4단계(인간 중심 필터링 → 시간 구조화 → 시점 다양성 확보 → 주석 풍부화)와 VLA(Vision-Language-Action) 어블레이션
**핵심 기법**: Qwen VLM을 기반으로 한 continued training, 동일 검증셋 하에서 데이터 출처(에고센트릭 인간 영상 vs. Magic Cobot 실제 로봇 데이터)를 통제 변수로 비교

📊 주요 결과

HumanNet에서 추출한 1,000시간 에고센트릭 인간 영상으로 Qwen VLM 계속학습 → 100시간 Magic Cobot 실제 로봇 데이터로 계속학습한 모델 능가
캡션·모션 기술·손/신체 신호의 다중 주석 채널을 통해 motion-aware/interaction-aware 학습 지원
표현 학습, 활동 이해, 모션 생성, human-to-robot 전이까지 다목적 활용 가능 입증

💭 의의 및 한계

**의의**: 로봇 데이터 의존도를 낮추고 embodied foundation 모델을 인간 영상 기반으로 스케일업할 수 있는 실증적 근거를 제공한다. **한계**: 1차 검증이 단일 VLM 백본(Qwen)과 특정 로봇 데이터셋(Magic Cobot) 비교에 한정되며, 인간-로봇 도메인 갭에서 발생할 수 있는 전이 손실은 향후 연구가 필요하다.

🚀 실용적 활용

휴머노이드/매니퓰레이션 로봇 정책의 사전학습 데이터로 활용
행동 이해·모션 생성·HOI 모델링용 대규모 학습 자원
가정/산업 현장 활동 인식 및 도구 사용 모델 개발