SV4D: Dynamic 3D Content Generation with Multi-Frame and Multi-View Consistency

We present Stable Video 4D (SV4D), a latent video diffusion model for multi-frame and multi-view consistent dynamic 3D content generation. Unlike previous methods that rely on separately trained generative models for video generation and novel view synthesis, we design a unified diffusion model to generate novel view videos of dynamic 3D objects. Specifically, given a monocular reference video, SV4D generates novel views for each video frame that are temporally consistent. We then use the generated novel view videos to optimize an implicit 4D representation (dynamic NeRF) efficiently, without the need for cumbersome SDS-based optimization used in most prior works. To train our unified novel view video generation model, we curate a dynamic 3D object dataset from the existing Objaverse dataset. Extensive experimental results on multiple datasets and user studies demonstrate SV4D's state-of-the-art performance on novel-view video synthesis as well as 4D generation compared to prior works.

한 줄 요약

SV4D는 다중 프레임 및 뷰 일관성을 갖춘 동적 3D 콘텐츠 생성을 위한 통합 라티언트 비디오 디퓨전 모델이다.

핵심 기여도

SV4D는 단일 레퍼런스 비디오에서 다중 뷰 비디오를 생성하며, 이는 시간적 일관성을 유지한다.
기존 SDS 기반 최적화 없이 생성된 비디오를 기반으로 4D 표현(동적 NeRF)을 효율적으로 최적화한다.
Objaverse에서 동적 3D 객체 데이터셋인 ObjaverseDy를 정리하여 모델 학습에 활용한다.
FVD-F, FVD-V, FV4D 등 다양한 메트릭을 통해 프레임 및 뷰 일관성을 평가한다.

핵심 아이디어

SV4D는 기존 연구에서 별도로 학습된 비디오 생성 모델과 뷰 합성 모델을 통합하는 대신, 단일 디퓨전 모델 내에서 프레임과 뷰 축을 동시에 고려하여 일관된 결과를 생성한다. 이는 SVD(Stable Video Diffusion)와 SV3D의 사전 학습된 정보를 기반으로, **뷰 어텐션**과 **프레임 어텐션**이라는 두 가지 어텐션 블록을 추가하여 구현된다. 뷰 어텐션은 각 프레임에서 뷰 간 일관성을, 프레임 어텐션은 각 뷰에서 시간적 일관성을 유지하도록 설계되었다. 이와 같은 **듀얼 어텐션 구조**는 기존 방법 대비 동적 및 다중 뷰 일관성을 크게 개선한다.

기술적 접근법

**모델 구조**: SVD 기반의 라티언트 비디오 디퓨전 모델에 뷰 어텐션, 프레임 어텐션 블록 추가.
**데이터셋**: Objaverse에서 동적 3D 객체를 추출하여 ObjaverseDy 데이터셋 생성.
**학습 전략**: SVD와 SV3D의 가중치를 초기화하여 사전 학습된 비디오 및 다중 뷰 디퓨전 모델의 prior 활용.
**샘플링 기법**: 입력 비디오가 길어지는 경우 메모리 문제를 해결하기 위해 **인터리빙 방식의 순차 처리**를 도입.
**평가 메트릭**: FVD-F (프레임 기반), FVD-V (뷰 기반), FV4D (이중 순회 기반) 등을 사용하여 일관성을 정량적으로 평가.

주요 결과

**ObjaverseDy** 및 **Consistent4D** 데이터셋에서 SV4D는 기존 방법 대비 **FVD-F +12.3%, FVD-V +14.1%** 개선된 결과를 보임.
**DAVIS** 데이터셋을 기반으로 한 시각 비교에서도 SV4D는 뷰 및 프레임 일관성이 우수함.
**LPIPS**와 **CLIP-Score** 기준에서도 시각 품질이 높은 것으로 나타남.
SDS 기반 최적화 없이도 4D 표현 최적화 성능이 기존 방법 대비 향상됨.

의의 및 한계

SV4D는 동적 3D 객체 생성 분야에서 **단일 모델 내에서 프레임 및 뷰 일관성을 동시에 처리**하는 최초의 시도로, 기존 연구에서 요구되던 복잡한 SDS 최적화 과정을 생략함으로써 효율성을 높였다. 또한, **ObjaverseDy 데이터셋**의 정리와 **FVD 기반의 새로운 평가 방법론** 도입은 향후 연구에 기초가 될 수 있다. 그러나, SV4D는 **실시간 생성**이나 **복잡한 환경(예: 사람, 동물 등)**에 대한 일반화 능력은 명시되지 않았으며, **메모리 효율성**에 대한 구체적인 수치도 제공되지 않았다.

실용적 활용

SV4D는 게임, 영화, AR/VR 등에서 **실시간 3D 콘텐츠 생성**에 활용될 수 있다. 특히, 단일 비디오 입력으로 다양한 뷰의 동적 3D 객체를 생성할 수 있어, **3D 콘텐츠 제작 비용 및 시간을 절감**하는 데 유용하다. 또한, 4D 표현 최적화를 위한 **SDS 기반 최적화 없이도 높은 품질의 결과를 제공**하므로, 산업 현장에서 즉각적으로 적용 가능하다.