PanoWorld: Geometry-Consistent Panoramic Video World Modeling

We present PanoWorld, a panoramic video world model that generates geometry-consistent 360$\degree$ video from a single image and a caption. Existing panoramic video methods optimize primarily for visual realism and do not explicitly constrain the underlying 3D scene state, producing outputs that appear plausible yet exhibit inconsistent depth, broken correspondences, and implausible motion across the spherical surface. We address this gap by framing panoramic video generation as a geometry- and dynamics-consistent latent state modeling problem rather than pure visual synthesis. Building on a pre-trained perspective video world model, we introduce two lightweight regularizers: a depth consistency loss against pseudo ground-truth panoramic depth, and a trajectory consistency loss that supervises the 3D world-frame positions of tracked points across time. We further apply spherical-geometry-aware adaptation to the conditioning and positional encoding. We additionally introduce PanoGeo, a unified geometry-aware panoramic video dataset with consistent depth, trajectory, and prompt annotations across diverse real and synthetic sources, used for both training and stratified evaluation. Experiments show that PanoWorld improves geometric consistency over prior panoramic generation methods while maintaining competitive visual realism, establishing that panoramic video generation must be treated as a geometric modeling problem to support the holistic spatial understanding requirements of embodied AI applications. Code is available at https://github.com/ostadabbas/PanoWorld.

📋 한 줄 요약

**[Video / Embodied AI]** 단일 이미지+캡션으로부터 기하학적으로 일관된 360도 파노라마 비디오를 생성하는 월드 모델.

🎯 핵심 기여도

파노라마 비디오 생성을 단순 시각 합성이 아닌 **기하·동역학 일관 잠재 상태 모델링** 문제로 재정의
사전학습된 원근법 비디오 월드 모델 위에 **두 개의 경량 정규화기**: 의사 GT 파노라마 깊이에 대한 깊이 일관성 손실, 추적 점의 3D 월드 프레임 위치 감독을 위한 궤적 일관성 손실
조건화 및 위치 인코딩에 **구면 기하 인식 적응** 적용
일관된 깊이·궤적·프롬프트 어노테이션을 갖는 통합 데이터셋 **PanoGeo** 제공 (학습 및 stratified 평가용)

💡 핵심 아이디어

기존 파노라마 비디오 방법은 시각적 사실성에 최적화되어 있어 기저 3D 장면 상태를 명시적으로 제약하지 않는다. 그 결과 외관은 그럴듯하지만 깊이가 불일치하고, 대응관계가 깨지며, 구면 표면 전체에서 운동이 비현실적이다. PanoWorld는 파노라마 생성을 기하 모델링 문제로 보아 이를 해결한다.

🔬 기술적 접근법

**모델/방법론**: 사전학습된 원근법 비디오 월드 모델을 백본으로, 구면 기하 인식 조건화/위치 인코딩으로 적응
**핵심 기법**: (1) 의사 GT 파노라마 깊이에 대한 depth consistency loss, (2) 시간에 걸쳐 추적되는 점의 3D 월드 좌표 감독을 위한 trajectory consistency loss, (3) 구면 기하 인식 conditioning + positional encoding

📊 주요 결과

이전 파노라마 생성 방법 대비 기하학적 일관성 향상
시각적 사실성도 경쟁력 있는 수준 유지
PanoGeo 데이터셋 공개로 후속 연구 기반 제공
코드 공개: github.com/ostadabbas/PanoWorld

💭 의의 및 한계

**의의**: Embodied AI의 전체적인 공간 이해에 필수적인 기하 일관 파노라마 생성의 새로운 기준을 제시했다. **한계**: 정규화기가 의사 GT 깊이·궤적의 품질에 의존하며, 동적 객체가 많은 장면에서의 일관성은 추가 검증이 필요하다.

🚀 실용적 활용

VR/AR 콘텐츠 자동 생성 (단일 이미지 → 360도 비디오)
로봇·자율주행을 위한 합성 환경 생성
Embodied AI 에이전트의 공간 인식 학습용 합성 데이터