EgoExo-WM: Unlocking Exo Video for Ego World Models

Egocentric world models present a promising direction for enabling agents to predict and plan, but their performance is constrained by the limited availability of egocentric training data and its inherent partial observability of humans' physical actions. In contrast, exocentric video is abundant and reveals body poses well, but lacks direct alignment with an agent's action space -- and is not egocentric. We propose a method to bridge this gap by extracting structured body pose from exocentric video as a representation of action and transforming the exocentric video to egocentric video, informed by a human kinematics prior. This process unlocks the integration of in-the-wild exocentric data for egocentric world model training. We show that training whole-body action-conditioned egocentric world models with our converted data significantly improves both prediction quality and downstream planning performance, where we infer the sequence of body poses needed to achieve a visual goal state. Our approach paves the way to enlist arbitrary in-the-wild videos for building powerful egocentric world models, furthering applications in robot planning and augmented-reality guidance.

📋 한 줄 요약

**[비디오 / 월드 모델]** 풍부한 외부 시점(exocentric) 비디오를 인체 키네마틱 사전(prior)을 이용해 1인칭(egocentric) 비디오로 변환, 자아중심 월드 모델 학습에 활용하는 EgoExo-WM 제안.

🎯 핵심 기여도

자아중심 월드 모델이 학습 데이터 부족과 인간 신체 행동에 대한 부분 관찰성 문제로 한계가 있다는 공백을 진단.
풍부하지만 행동 공간과 직접 정렬되지 않은 외부 시점 비디오를, 키네마틱 prior로 매개해 자아중심 데이터로 변환하는 새 방법론 제안.
외부 시점 비디오에서 구조화된 신체 자세(body pose)를 추출해 행동 표현으로 사용, 자아중심 비디오로 변환.
변환된 데이터로 전신 행동 조건부 자아중심 월드 모델을 학습해 예측 품질과 시각 목표 달성 다운스트림 계획 성능을 모두 개선.

💡 핵심 아이디어

풍부한 외부 시점 비디오의 가치는 단순한 영상이 아니라, 거기 담긴 신체 자세 시퀀스에 있다. 사람 키네마틱이라는 사전 지식을 매개로 외부→자아 시점 변환을 수행하면, 외부 시점 데이터를 자아중심 행동 공간과 정렬해 in-the-wild 데이터를 월드 모델 학습에 활용할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 외부 시점 비디오 → 구조화 신체 자세 추출 → 자아중심 비디오 변환 파이프라인 + 전신 행동 조건부 자아중심 월드 모델.
**핵심 기법**: 신체 자세를 행동 표현으로 사용, 인간 키네마틱 prior로 시점 변환 안정화, 변환된 자아중심 데이터로 행동 조건부 월드 모델 학습 및 시각 목표를 위한 자세 시퀀스 추론.

📊 주요 결과

변환 데이터로 학습한 자아중심 월드 모델이 예측 품질에서 향상.
시각 목표 상태 달성을 위한 자세 시퀀스 추론에서 다운스트림 계획 성능 개선.
외부 시점 in-the-wild 비디오를 자아중심 월드 모델 학습에 활용 가능함을 시연.

💭 의의 및 한계

**의의**: 로봇 계획·증강현실 가이던스의 핵심 병목인 자아중심 데이터 부족 문제를 풍부한 외부 시점 비디오 자원으로 우회할 수 있는 길을 제시. **한계**: 변환 품질이 키네마틱 prior와 자세 추정 정확도에 의존, 인간 신체와 다른 에이전트(로봇 팔 등) 일반화는 후속 과제.

🚀 실용적 활용

자아중심 시점 로봇 매니퓰레이션의 사전 학습 데이터.
AR 가이던스용 행동 예측 월드 모델.
자아중심 비디오 부족 시 외부 시점 데이터 부트스트래핑.