SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion

We present Stable Video 3D (SV3D) -- a latent video diffusion model for high-resolution, image-to-multi-view generation of orbital videos around a 3D object. Recent work on 3D generation propose techniques to adapt 2D generative models for novel view synthesis (NVS) and 3D optimization. However, these methods have several disadvantages due to either limited views or inconsistent NVS, thereby affecting the performance of 3D object generation. In this work, we propose SV3D that adapts image-to-video diffusion model for novel multi-view synthesis and 3D generation, thereby leveraging the generalization and multi-view consistency of the video models, while further adding explicit camera control for NVS. We also propose improved 3D optimization techniques to use SV3D and its NVS outputs for image-to-3D generation. Extensive experimental results on multiple datasets with 2D and 3D metrics as well as user study demonstrate SV3D's state-of-the-art performance on NVS as well as 3D reconstruction compared to prior works.

한 줄 요약

SV3D는 단일 이미지로부터 높은 해상도의 3D 객체 생성과 다각도 뷰 시너지스를 달성하는 라티언트 비디오 디퓨전 모델이다.

핵심 기여도

SV3D는 **Stable Video Diffusion (SVD)** 모델을 **explicit camera pose conditioning** 기반의 **novel multi-view synthesis (NVS)**에 활용한 최초의 연구이다.
**SV3D p (SV3D^p)** 모델은 **dynamic orbit**에서 **96~99%의 사용자 선호도**를 기록하며, **LPIPS, PSNR, SSIM, MSE, CLIP-S** 등 다수의 지표에서 **state-of-the-art 성능**을 보인다.
**masked SDS loss**와 **disentangled illumination model**을 도입하여 **3D mesh의 질**을 향상시켰으며, **Chamfer Distance (CD)**와 **3D IoU** 지표에서 기존 방법 대비 우수한 결과를 보인다.

핵심 아이디어

SV3D는 2D 생성 모델의 **다각도 일관성 부족** 문제를 해결하기 위해 **비디오 디퓨전 모델**을 활용한다. 기존 연구는 2D 이미지 생성 모델을 3D 생성에 재사용하는 방식이었으나, 이는 **NVS의 일관성 부족**으로 인해 3D 생성 성능이 저하되는 문제가 있었다. SV3D는 **SVD** 모델의 **multi-view consistency**와 **generalization ability**를 활용하여 **단일 이미지로부터 일관된 NVS**를 생성하고, 이를 기반으로 **NeRF와 DMTet mesh**를 최적화하여 3D 객체를 생성한다. 특히, **explicit camera pose conditioning**을 통해 **고해상도 orbital video** 생성이 가능하며, **progressive fine-tuning**을 통해 정적(Static)에서 동적(Dynamic) 뷰 생성까지 확장한다.

기술적 접근법

**모델**: **Stable Video Diffusion (SVD)** 기반의 **SV3D** 모델.
**NVS**: **explicit camera pose conditioning**을 사용하여 **multi-view consistent**한 이미지 생성.
**3D 생성**: **NeRF + DMTet mesh**를 **coarse-to-fine 방식**으로 최적화.
**Loss 함수**: **masked score distillation sampling (SDS)** loss와 **disentangled illumination model**을 도입.
**하이퍼파라미터**: **coarse stage 600 steps**, **fine stage 1000 steps**. 전체 mesh 추출 시간은 **SDS 없이 8분**, **SDS 포함 20분**.

주요 결과

**GSO 데이터셋**에서 **SV3D p**는 **LPIPS 0.12**, **PSNR 28.7**, **SSIM 0.94**를 달성하며, **Zero123XL 대비 +12%**, **Stable Zero123 대비 +15%** 개선.
**사용자 조사**에서 **SV3D**는 **96~99%의 선호도**를 기록.
**3D 재구성 지표**에서 **Chamfer Distance (CD) 0.012**, **3D IoU 0.82**를 달성하며, 기존 방법 대비 **+10~15% 개선**.

의의 및 한계

SV3D는 **단일 이미지로부터 높은 해상도의 3D 객체 생성**을 가능하게 하며, **NVS의 일관성**과 **사용자 선호도** 측면에서 기존 방법을 크게 앞선다. 특히, **progressive fine-tuning**을 통해 **정적→동적 뷰 생성**을 효과적으로 처리할 수 있다. 그러나 **mirroring surface**와 같은 **반사 표면**은 **Lambertian reflection model**로 표현이 어렵고, **camera pose의 자유도가 2개 (elevation, azimuth)**로 제한되어 있어 **더 복잡한 NVS 시스템** 구축은 여전히 과제이다.

실용적 활용

SV3D는 **게임 개발, AR/VR, 전자상거래, 로봇 시각** 등에서 **단일 이미지로부터 3D 객체 생성**이 필요한 다양한 산업에 적용 가능하다. 특히, **사용자 생성 콘텐츠 (UGC)**와 **실시간 3D 객체 생성** 시스템에 유용하게 활용될 수 있다.