AlayaVista: Streaming World Modeling from Panoramic States to Perspective Video

Interactive video world models must maintain broad scene context under camera motion while producing high-fidelity observations with low latency. Existing approaches face a representation trade-off: perspective models operate on local views and must preserve off-screen content over long rollouts, whereas broader spatial coverage is typically obtained by synthesizing full-sphere videos or constructing explicit 3D representations. Motivated by the complementary roles of global context and selective local acuity in visual perception, we present AlayaVista, a camera-controllable streaming video world model that decouples panoramic world evolution from perspective observation synthesis. Given a single perspective image, AlayaVista constructs a 360-degree scene prior using a pretrained panorama expansion model and then evolves the scene as a camera-conditioned panoramic latent state. A latent viewport renderer maps this state to the requested perspective video latents, while a perspective refiner restores details, suppresses artifacts, and performs super-resolution. To support efficient streaming, we adapt the panoramic generator to chunk-autoregressive generation and distill both panoramic generation and perspective refinement into few-step processes. To provide the supervision required by this design, we construct MUGEN, a large-scale real-world panoramic video dataset containing 1,318 hours of videos at resolutions of at least 4K, together with rich semantic and geometric annotations.

한 줄 요약

AlayaVista는 패러메트릭 카메라 제어를 통해 패러스펙티브 영상 생성과 팬오라마 세계 모델링을 분리한 실시간 스트리밍 비디오 월드 모델이다.

핵심 기여도

**AlayaVista** 모델은 팬오라마 레이턴트 공간에서 세계 모델링을 수행하고, 요청된 패러스펙티브 뷰포트에만 고해상도 합성을 집중시킴.
**MUGEN 데이터셋**을 제시: 최소 4K 해상도, 1,318시간의 팬오라마 영상과 풍부한 의미적·기하학적 어노테이션 포함.
**Chunk-autoregressive generation**과 **few-step distillation**을 통해 실시간 스트리밍 효율성 향상.
**Latent viewport renderer**와 **perspective refiner**를 통해 뷰포트 기반 고해상도 영상 복원 및 아티팩트 억제.

핵심 아이디어

AlayaVista는 인간의 시각 인지에서 영감을 받아, **글로벌 컨텍스트 유지**와 **로컬 뷰포트에 대한 고해상도 합성**을 분리하는 새로운 아키텍처를 제안한다.
기존 모델은 패러스펙티브 프레임을 기반으로 세계 모델링을 수행하지만, 이는 **오프-스크린 컨텐츠 유지**와 **장기적 일관성**을 보장하기 위해 복잡한 메모리 구조를 필요로 한다.
AlayaVista는 팬오라마 레이턴트 공간에서 세계 상태를 유지하고, 요청된 뷰포트에만 고해상도 합성을 수행함으로써, **전체 공간 커버리지**와 **계산 효율성**을 동시에 달성한다.
이를 위해 **latent viewport renderer**와 **perspective refiner**를 사용하여, 뷰포트 기반의 영상 복원과 초해상도 처리를 수행한다.

기술적 접근법

**Panorama expansion model**: 단일 패러스펙티브 이미지에서 360° 팬오라마 레이턴트를 생성.
**Camera-conditioned panoramic latent state**: 카메라 제어에 따라 팬오라마 레이턴트 공간에서 세계 상태를 진화시킴.
**Latent viewport renderer**: 요청된 뷰포트를 기반으로 패러스펙티브 레이턴트 영상 생성.
**Perspective refiner**: 고해상도 복원, 아티팩트 억제, 초해상도 처리.
**Chunk-autoregressive generation**: 팬오라마 생성을 효율적으로 분할하여 스트리밍 지원.
**Few-step distillation**: 팬오라마 생성과 패러스펙티브 합성을 단계별로 최적화.
**MUGEN 데이터셋**: 4K 이상, 1,318시간, 풍부한 어노테이션 포함.
**Sekai2 팬오라마 서브셋**과 함께 모델 학습.

주요 결과

**MUGEN-HQ 데이터셋**에서 **FVD, SSIM, LPIPS, PSNR** 등 재구성 품질 지표에서 기존 방법 대비 개선됨.
**VBench++**에서 **Consistency, Quality, Dynamic** 점수에서 높은 성능.
**CameraCtrl 기준**으로 **Translation Error (TransErr)** 가 0.15m 이하로, 카메라 제어 정확도 높음.
**1024 × 576 해상도**에서 81프레임 기준, **스트리밍 효율성**과 **장기적 일관성**을 유지.

의의 및 한계

AlayaVista는 패러스펙티브 기반 월드 모델링과 3D 공간 재구성 사이의 **중간 지점**으로, **광범위한 시각 컨텍스트 유지**와 **실시간 스트리밍 효율성**을 동시에 달성한다.
이 모델은 **MUGEN 데이터셋**을 통해 실제 세계의 팬오라마 동영상과 카메라 제어 정보를 학습할 수 있어, **실용적 인터랙티브 비디오 생성**에 기여한다.
하지만, **대규모 카메라 이동**이나 **고도로 동적인 장면**에서는 **지속적인 공간 메모리**와 **기하학적 일관성**이 부족할 수 있으며, **팬오라마 확장 단계에서 발생한 오류**가 후속 생성 단계로 전파될 가능성도 있다.

실용적 활용

AlayaVista는 **VR 콘텐츠 생성**, **실시간 인터랙티브 영상 시스템**, **로봇 시각 제어**, **게임 엔진 내 동적 환경 생성** 등에 활용 가능하다.
특히, **카메라 제어 기반의 실시간 영상 스트리밍**이 필요한 산업 분야에서 **광범위한 환경 모델링**과 **고해상도 뷰포트 생성**을 동시에 요구하는 상황에 적합하다.