Pantheon360: Taming Digital Twin Generation via 3D-Aware 360° Video Diffusion

Generating complete digital twins from videos requires precise camera control, global scene coverage, and strict spatial-temporal consistency constraints that remain challenging for perspective video generators due to their limited field of view (FoV). Their narrow FoV forces long or multi-view trajectories, amplifying cross-view inconsistency and temporal drift. We argue that 360° video generation offers a natural solution: panoramic coverage simplifies trajectory design and provides a strong global context for maintaining coherence. We introduce Pantheon360: Taming Digital Twin Generation via 3D-Aware 360° Video Diffusion, a controllable 360° video generation framework that synthesizes high-fidelity videos from sparse 360° inputs. The key idea is an explicit 3D Cache, reconstructed from the input, which serves as a geometric scaffold for any user-defined camera path. This allows the diffusion model to focus on photorealistic texture refinement while the 3D Cache enforces global geometric consistency. Experiments show that Pantheon360 achieves superior visual quality and unmatched geometric coherence, enabling reliable and flexible 360° scene generation for downstream simulation and digital-twin applications.

📋 한 줄 요약

**[디지털 트윈 생성 / 360° 비디오 확산]** Pantheon360이 sparse 360° 입력에서 3D Cache geometric scaffold를 재구성해 user-defined camera path를 따라 photorealistic 360° 비디오를 생성, 좁은 FoV perspective generator의 cross-view inconsistency·temporal drift 한계 해소.

🎯 핵심 기여도

비디오에서 완전한 디지털 트윈 생성에는 정밀한 카메라 제어·global scene coverage·strict spatial-temporal consistency가 필요하지만, perspective video generator의 제한적 FoV로 인해 도전적이라는 문제 진단.
좁은 FoV가 long 또는 multi-view trajectory를 강제해 cross-view inconsistency와 temporal drift를 증폭한다는 핵심 원인 분석.
360° 비디오 생성이 panoramic coverage로 trajectory design을 단순화하고 coherence 유지에 강한 global context를 제공한다는 자연스러운 해결책 제안.
Pantheon360 도입 — sparse 360° 입력에서 high-fidelity 비디오를 합성하는 controllable 360° 비디오 생성 프레임워크.

💡 핵심 아이디어

입력에서 명시적 3D Cache를 reconstruct해 user-defined camera path의 geometric scaffold로 사용하면, diffusion model은 photorealistic texture refinement에 집중하고 3D Cache는 global geometric consistency를 강제하는 분업 구조가 가능하다.

🔬 기술적 접근법

**방법론**: Pantheon360 — 3D-Aware 360° Video Diffusion 프레임워크.
**핵심 기법**: (1) Sparse 360° 입력에서 explicit 3D Cache reconstruction, (2) 3D Cache를 user-defined camera path의 geometric scaffold로 사용, (3) Diffusion model은 photorealistic texture refinement에 집중, (4) 3D Cache가 global geometric consistency 강제, (5) Panoramic coverage로 trajectory design 단순화·cross-view inconsistency 억제.

📊 주요 결과

Sparse 360° 입력에서 high-fidelity 비디오 합성 가능.
Pantheon360이 superior visual quality 달성.
Unmatched geometric coherence 입증.
Downstream simulation·digital-twin application에 reliable·flexible 360° scene generation 제공.

💭 의의 및 한계

**의의**: 360° 비디오 생성을 디지털 트윈의 자연 인터페이스로 격상, 3D Cache scaffold + diffusion texture의 분업으로 일관성·품질 동시 달성, simulation·embodied 응용의 명확한 경로. **한계**: 3D Cache 재구성 품질에 의존, sparse 360° 입력의 충분성 가정, 매우 동적인 scene·moving object 처리는 추가 검증 여지.

🚀 실용적 활용

디지털 트윈 생성 및 시뮬레이션.
VR/AR 콘텐츠의 panoramic 비디오 합성.
자율주행·로봇 시뮬레이션 환경 구축.