λ_0: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation

Humanoid loco-manipulation requires coordinated whole-body interaction with the physical world, yet collecting robot demonstrations at scale remains costly. Human demonstrations offer a scalable alternative, but existing egocentric human supervision often omits locomotion and posture, while embodiment differences and controller dynamics hinder accurate end-effector execution. We introduce HumanVerse, a 500-hour dataset of open-world human loco-manipulation pairing egocentric video with synchronized body and hand motion. Our human-to-humanoid pipeline aligns camera viewpoints and arm appearance, and refines motion references and controller inputs offline to reduce end-effector errors while preserving whole-body coordination. We validate the pipeline through zero-shot transfer to Unitree G1 on representative whole-body manipulation and long-range loco-manipulation tasks, without target-task robot demonstrations. Building on this pipeline, we develop λ_0, a humanoid foundation model for whole-body loco-manipulation, with robot-aligned human demonstrations providing supervision for mid-training. Increasing whole-body human data consistently improves downstream task progress. λ_0 achieves 90.0% success on SIMPLE and 62.5% across real-world loco-manipulation tasks. We expect this study to guide scalable whole-body human data collection toward humanoid foundation models for richer interaction with the physical world. Homepage: https://lambdahumanoid.github.io/

한 줄 요약

람다_0(λ₀)는 500시간 규모의 HumanVerse 데이터셋을 기반으로 유인로봇의 전신 로코-조작 성능을 향상시키는 기초 모델이다.

핵심 기여도

HumanVerse: 500시간의 오픈월드 환경에서 기록된 전신 로코-조작 데이터셋 (동시 기록된 체부 및 손 동작 포함).
Human-to-Humanoid 파이프라인: 카메라 뷰포인트 및 팔 외형 정렬, 오프라인 모션 및 컨트롤러 입력 정제를 통해 종단기기 오류 감소.
람다_0(λ₀): 전신 조작을 위한 인간-로봇 정렬된 데이터를 기반으로 훈련된 기초 모델로, SIMPLE에서 90.0% 성공률 달성.
Zero-shot 전이: Unitree G1에 대한 전신 조작 및 장거리 로코-조작 작업에서 타겟 작업의 로봇 데모 없이 평균 51.7%~76.2% 성공률.

핵심 아이디어

람다_0(λ₀)는 인간의 일상적 상호작용 데이터를 기반으로 유인로봇의 전신 로코-조작 능력을 훈련하는 새로운 접근법이다. 기존 연구는 주로 손 움직임만을 기반으로 했으나, 이 연구는 전신 동작(이동, 자세, 조작)을 모두 포함한 HumanVerse 데이터셋을 제시한다. 이 데이터셋은 체부와 손의 동작을 동기화하여 기록하고, 카메라 뷰포인트와 팔 외형을 정렬한 후, 오프라인 정제 과정을 통해 종단기기 오류를 줄인다. 이는 유인로봇의 컨트롤러 동역학과 기하학적 불일치를 보완하는 핵심 기술이다. 또한, 람다_0는 Qwen3.5-2B 비전-언어 백본과 생성형 액션 전문가를 결합한 구조로, 인간 데이터를 기반으로 점진적으로 유인로봇 제어에 적응시킨다.

기술적 접근법

**HumanVerse 데이터셋**: 500시간의 오픈월드 환경에서 기록된 전신 로코-조작 데이터.
**Human-to-Humanoid 파이프라인**: 카메라 높이와 로봇 설정 일치, 인간 팔 제거 및 G1 팔 렌더링, 오프라인 모션 및 컨트롤러 입력 정제.
**람다_0(λ₀) 모델 아키텍처**: Qwen3.5-2B 비전-언어 백본 + 생성형 액션 전문가. 44차원 상태(29개 체부 관절, 6개 손 명령, 3개 중력 성분)를 입력으로 사용.
**훈련 단계**: Stage II 및 III에서 비전, 언어, 현재 상태를 입력으로 받아, 상태를 이산화하고 지시문에 추가.
**전이 학습**: 타겟 작업의 로봇 데모 없이 Unitree G1에 Zero-shot 전이 수행.

주요 결과

**SIMPLE 데이터셋**: 람다_0(λ₀)는 90.0% 성공률 달성 (베이스라인 대비 +3.9%).
**실제 세계 로코-조작 작업**: 62.5% 성공률 (베이스라인 대비 +22.5%).
**전신 인간 데이터 증가 효과**: 59.9%에서 80.4%로 단조 증가.
**Zero-shot 전이 평가**: 7개 대표 작업에서 평균 51.7%~76.2% 성공률.

의의 및 한계

람다_0(λ₀)는 유인로봇의 전신 로코-조작을 위한 인간 데이터 기반 학습을 가능하게 하며, 로봇 데모 없이도 Zero-shot 전이가 가능하다는 점에서 학술적·실용적 가치가 있다. HumanVerse는 오픈월드 환경에서의 대규모 데이터 수집을 가능하게 하며, 전신 동작을 포함한 데이터가 기존 연구의 한계를 극복한다. 그러나 HumanVerse는 특정 환경에서만 수집되었으며, 다양한 객체나 상황에 대한 일반화 능력은 추가 연구가 필요하다. 또한, 인간-로봇의 기하학적 차이로 인한 종단기기 오류는 완전히 제거되지 않았다.

실용적 활용

람다_0(λ₀)는 로봇 데모 없이도 유인로봇을 훈련할 수 있어, 로봇 운영 비용을 줄이고 대규모 작업 학습을 가능하게 한다. 이는 산업 현장에서의 자동화, 재활 로봇, 서비스 로봇 분야에서 활용 가능하며, 인간의 일상적 상호작용 데이터를 기반으로 한 유인로봇 개발에 기여할 수 있다.