CAT4D: Create Anything in 4D with Multi-View Video Diffusion Models

We present CAT4D, a method for creating 4D (dynamic 3D) scenes from monocular video. CAT4D leverages a multi-view video diffusion model trained on a diverse combination of datasets to enable novel view synthesis at any specified camera poses and timestamps. Combined with a novel sampling approach, this model can transform a single monocular video into a multi-view video, enabling robust 4D reconstruction via optimization of a deformable 3D Gaussian representation. We demonstrate competitive performance on novel view synthesis and dynamic scene reconstruction benchmarks, and highlight the creative capabilities for 4D scene generation from real or generated videos. See our project page for results and interactive demos: cat-4d.github.io.

한 줄 요약

CAT4D는 단일 모노코럴 비디오에서 4D 장면을 생성하는 다중 뷰 비디오 확산 모델 기반의 2단계 접근법을 제시한다.

핵심 기여도

**CAT4D**는 단일 모노코럴 비디오를 입력으로 받아 다중 뷰 비디오를 생성한 후, 이로부터 4D 장면을 재구성하는 2단계 프레임워크를 제시.
**다중 뷰 비디오 확산 모델**은 NSFF, DyCheck 등 다양한 데이터셋을 결합해 훈련되어, **16개 프레임**을 한 번에 생성.
**Alternating sampling strategy**를 통해 모델이 생성하는 프레임 수를 제한 없이 확장 가능.
**Deformable 3D Gaussian representation** 최적화를 통해 정확한 4D 재구성 가능.

핵심 아이디어

CAT4D는 4D 장면 생성 문제를 해결하기 위해, 모노코럴 비디오에서 다중 뷰 비디오를 생성하는 확산 모델과, 이로부터 3D 가우시안 표현을 최적화하는 2단계 프레임워크를 결합한다. 기존 방법들은 동적 장면에서의 뷰포인트와 시간의 독립적 제어가 어려웠으나, CAT4D는 확산 모델을 통해 뷰포인트와 시간을 분리된 조건으로 처리할 수 있다. 이는 NSFF 데이터셋 실험에서 CAT4D가 뷰포인트만 변경하거나 시간만 변경하는 시퀀스를 생성할 수 있음을 보여준다. 또한, 모델은 **16개 프레임**을 한 번에 생성하는 제한을 극복하기 위해 **alternating sampling strategy**를 도입하여, 일관된 다중 뷰 비디오를 무한히 확장할 수 있도록 한다.

기술적 접근법

**Multi-view video diffusion model**: NSFF, DyCheck, 합성 4D 데이터, pre-trained 비디오 모델 및 다중 뷰 이미지 생성 모델을 결합한 데이터셋으로 훈련.
**Input**: 단일 모노코럴 비디오.
**Output**: 지정된 뷰포인트와 타임스탬프에서의 장면.
**Sampling strategy**: 16개 프레임 생성 제한을 극복하기 위해 **alternating sampling**을 사용.
**Reconstruction**: 생성된 다중 뷰 비디오를 기반으로 **deformable 3D Gaussian representation** 최적화를 수행.
**Loss function**: **photometric reconstruction loss**를 사용.

주요 결과

**NSFF 데이터셋**에서 CAT4D는 3개 입력 이미지로 뷰포인트와 시간을 독립적으로 제어한 시퀀스를 생성.
**CAT3D-3cond** 대비 **CAT4D**는 동적 장면의 불일치를 해결하여 더 높은 품질의 뉴럴 뷰 렌더링을 달성.
**DyCheck 데이터셋**에서 **4D-GS** 대비 **CAT4D**는 재구성 품질을 크게 향상 (비교 실험 참조).
**4D 생성** 실험에서, 텍스트-비디오 모델로 생성된 모노코럴 비디오를 기반으로 **scene-scale 4D 장면** 생성 가능.

의의 및 한계

CAT4D는 단일 모노코럴 비디오에서 4D 장면을 생성하는 데 있어, 기존 방법들이 필요로 했던 추가적인 신호(예: 깊이 맵, 2D 트랙 등) 없이도 높은 품질의 재구성을 가능하게 한다는 점에서 학술적·실용적 의의가 있다. 특히, **NSFF**, **DyCheck** 데이터셋에서 기존 최고 성능 모델과 유사한 수준의 결과를 보이며, 데이터 효율성과 생성 품질을 동시에 달성한다. 하지만, 모델은 **입력 프레임을 넘어선 시간 외삽**(temporal extrapolation)에 약하며, **동적 객체가 가려지는 경우** 뷰포인트와 시간의 분리가 어려운 한계가 있다. 또한, 생성된 4D 장면은 시각적으로 설득력 있지만, **물리적으로 정확한 3D 운동 필드**(motion field)를 보장하지 못한다.

실용적 활용

CAT4D는 **로봇**, **영화 제작**, **비디오 게임**, **증강현실**(AR) 등에서 4D 장면 생성이 필요한 다양한 산업에 적용 가능하다. 특히, **사용자가 쉽게 촬영한 단일 카메라 비디오**를 기반으로 4D 장면을 생성할 수 있어, 전문 장비 없이도 고해상도 3D/4D 콘텐츠를 생성하는 데 유용하다. 또한, **텍스트-비디오 생성 모델**과 결합하면, 가상 콘텐츠의 4D 표현도 가능하다.