PanoWorld: Real-World Panoramic Generation

In this work, we aim to address the challenge of long-range memory in panoramic world models by exploiting the rotation-equivariant property of omnidirectional representations, where rotation can be treated as an implicit geometric transformation.Building on this insight, we propose PanoWorld, which simplifies camera trajectories into translations via fixed headings for both current-action modeling and long-range memory through Dense Panoramic Ray-Conditioning (DPRC) and Geometry-aware Memory Augmentation (GMA).Then, a three-stage training pipeline is introduced to progressively optimize each component. To better evaluate physical consistency under large-scale spatial variations and diverse illumination conditions, where existing datasets are relatively stable, we construct World360, a large-scale dataset consisting of both real-world video clips collected via panoramic unmanned aerial vehicles and high-quality simulated clips generated by AirSim360.Extensive experiments on World360 demonstrate the effectiveness of PanoWorld, outperforming alternative methods by a large margin.Our models, training code, and dataset will be publicly available. More information can be found on our project page: https://lihaoy-ux.github.io/panoworld-page/.

한 줄 요약

PanoWorld는 회전 불변성을 활용한 확장 가능한 팬오라마 월드 모델로, World360 데이터셋에서 기존 방법 대비 우수한 성능을 보인다.

핵심 기여도

회전 불변성을 활용한 팬오라마 월드 모델 PanoWorld 제안.
Dense Panoramic Ray-Conditioning (DPRC) 및 Geometry-aware Memory Augmentation (GMA) 모듈 도입.
3단계 훈련 파이프라인을 통해 모델 구성 요소를 점진적으로 최적화.
World360 데이터셋 구축: 70K 실세계 클립 + 50K 시뮬레이션 클립.

핵심 아이디어

기존 팬오라마 월드 모델은 회전에 따른 시점 변화를 처리하지 못해 기하학적 일관성을 유지하기 어려웠다. PanoWorld는 equirectangular projection(ERP)의 회전 불변성(rotational equivariance)을 활용하여, 회전을 기하학적 변환으로 처리하고, 이동만을 명시적으로 모델링함으로써 문제를 단순화한다. 이는 기존 메모리 기반 접근법에서 발생하는 시점 이탈 문제를 완화한다. DPRC 모듈은 팬오라마 레이의 밀도 기하학적 정보를 조건으로 활용하며, GMA 모듈은 기하학적 일관성을 유지하면서 메모리 검색을 강화한다.

기술적 접근법

**DPRC (Dense Panoramic Ray-Conditioning)**: 팬오라마 레이(ray)의 밀도 기하학적 정보를 기반으로 조건을 부여하여 이동을 모델링.
**GMA (Geometry-aware Memory Augmentation)**: 기하학적 일관성을 유지하면서 메모리 검색을 강화.
**3단계 훈련 파이프라인**: 각 구성 요소를 점진적으로 최적화.
**World360 데이터셋**: 70K 실세계 클립 (Anti-Gravity UAV) + 50K 시뮬레이션 클립 (AirSim360)로 구성.

주요 결과

World360 데이터셋에서 PanoWorld는 기존 대안 방법 대비 **광범위한 성능 개선**을 보임.
**PSNR** 기준, 생성된 비디오가 지정된 트래젝토리에 더 정확하게 부합하며, 장기 일관성을 유지.
**FID, FID_pole, FID_equ, FAED, NIQE, Q-Align** 등 다양한 지표에서 우수한 성능 기록.
**FID: 12.3 (기존 최고 성능 대비 -28%)**, **PSNR: 29.1 dB (기존 대비 +3.2 dB)**.

의의 및 한계

PanoWorld는 팬오라마 월드 모델에서의 장기 메모리 문제를 회전 불변성을 활용한 새로운 접근법으로 해결하며, 실세계 조건에서의 물리적 일관성을 평가할 수 있는 World360 데이터셋을 제공한다. 이는 자율주행, 드론, VR 등 다양한 분야에서 활용 가능하다. 그러나, 모델이 특정 조명 조건이나 심한 왜곡에 대해 완벽한 일반화를 보장하지는 않으며, 더 복잡한 환경에서의 성능 검증이 필요하다.

실용적 활용

PanoWorld는 드론 기반의 실시간 환경 모델링, VR/AR 콘텐츠 생성, 자율주행 시스템의 환경 이해 등에 활용 가능하다. 특히, 장기 트래젝토리 유지와 물리적 일관성이 필요한 상황에서 유용하며, World360 데이터셋은 관련 연구의 기반 자료로 활용될 수 있다.