Stable Virtual Camera: Generative View Synthesis with Diffusion Models

We present Stable Virtual Camera (Seva), a generalist diffusion model that creates novel views of a scene, given any number of input views and target cameras. Existing works struggle to generate either large viewpoint changes or temporally smooth samples, while relying on specific task configurations. Our approach overcomes these limitations through simple model design, optimized training recipe, and flexible sampling strategy that generalize across view synthesis tasks at test time. As a result, our samples maintain high consistency without requiring additional 3D representation-based distillation, thus streamlining view synthesis in the wild. Furthermore, we show that our method can generate high-quality videos lasting up to half a minute with seamless loop closure. Extensive benchmarking demonstrates that SEVA outperforms existing methods across different datasets and settings.

한 줄 요약

Stable Virtual Camera (SEVA)는 확산 모델 기반으로 입력 뷰와 타겟 카메라로부터 새로운 뷰를 생성하는 일반적인 뉴럴 뷰 합성 모델이다.

핵심 기여도

**대규모 뷰포인트 변화와 시간적 부드러움을 동시에 생성**하는 확산 기반 모델 설계.
**2-pass procedural sampling**을 도입하여 임의의 장거리 카메라 경로에서 부드러운 동영상을 생성.
**NeRF 기반 디스틸레이션 없이도 3D 일관성을 유지**하며, CAT3D 대비 +1.5 dB PSNR 향상.
10개 데이터셋을 기반으로 한 **통합 벤치마크**를 제시하여 다양한 NVS 설정에서 평가.

핵심 아이디어

기존 NVS 연구는 대규모 뷰포인트 변화와 시간적 일관성을 동시에 달성하기 어려웠으며, 특정한 입력-타겟 뷰 수에 의존적이었다. SEVA는 3D 표현 없이도 강력한 2D 사전 학습 모델의 prior를 활용할 수 있도록 설계되었다. 핵심 아이디어는 다음과 같다:
1. **단순한 모델 구조**로 3D 표현 없이도 뷰 합성을 수행.
2. **입력-타겟 뷰 수에 제약 없는 훈련 전략**을 통해 다양한 NVS 작업에 일반화.
3. **2-pass procedural sampling**을 통해 장거리 카메라 경로에서 시간적 일관성을 확보.
이러한 접근은 기존 NVS 연구에서 요구되는 복잡한 3D 디스틸레이션 과정을 생략함으로써 실용성을 높인다.

기술적 접근법

**모델 설계**: "M-in N-out" 다중 뷰 확산 모델 $ p_\theta $를 사용.
**훈련 전략**: 소규모 및 대규모 뷰포인트 변화를 모두 포함한 뷰 선택 전략을 설계.
**샘플링 전략**: 추론 시 **2-pass procedural sampling**을 도입. 첫 번째 패스에서 초기 샘플링, 두 번째 패스에서 시간적 일관성을 강화.
**데이터셋**: 10개의 데이터셋을 사용한 벤치마크 실험. 입력 뷰 수는 1~32 범위.
**성능 지표**: PSNR, SED, Motion Smoothness (VBench)를 사용하여 3D 일관성과 시간적 일관성을 평가.

주요 결과

**CAT3D 데이터셋**에서 **+1.5 dB PSNR** 향상.
**30초 길이의 동영상** 생성 가능하며, **seamless loop closure** 달성.
**SED 점수**와 **Motion Smoothness (VBench)** 지표에서 1-pass sampling 대비 2-pass sampling이 우수함.
**입력 뷰 수 1~32 범위**에서 모두 일반화 성능을 보임.
**1-pass sampling**은 시간적 깜빡임(flickering) 발생, **2-pass sampling**은 가장 부드러운 전환을 보여.

의의 및 한계

SEVA는 기존 NVS 연구에서 요구되는 복잡한 3D 디스틸레이션 없이도 높은 3D 일관성을 달성하며, 다양한 입력-타겟 구성에서 유연하게 작동한다. 특히, 2-pass sampling은 장거리 카메라 경로에서 시간적 일관성을 향상시키는 데 기여한다. 그러나, 모델이 3D 표현 없이 작동하기 때문에 **복잡한 3D 구조나 고밀도 입력이 필요한 상황에서는 한계**가 있을 수 있다. 또한, **모델의 확장성**이나 **대규모 데이터셋에서의 성능**에 대한 추가 연구가 필요하다.

실용적 활용

SEVA는 **실내/실외 영상 콘텐츠 제작**, **VR/AR 환경 구축**, **자율 주행 시스템의 시뮬레이션** 등 다양한 산업 분야에서 활용 가능하다. 특히, **사용자 촬영 영상**(in-the-wild)에서도 일반화 성능을 보이므로, **소규모 입력 뷰로도 높은 품질의 뉴럴 뷰 합성**이 필요한 상황에 적합하다.