VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control

Modern text-to-video synthesis models demonstrate coherent, photorealistic generation of complex videos from a text description. However, most existing models lack fine-grained control over camera movement, which is critical for downstream applications related to content creation, visual effects, and 3D vision. Recently, new methods demonstrate the ability to generate videos with controllable camera poses these techniques leverage pre-trained U-Net-based diffusion models that explicitly disentangle spatial and temporal generation. Still, no existing approach enables camera control for new, transformer-based video diffusion models that process spatial and temporal information jointly. Here, we propose to tame video transformers for 3D camera control using a ControlNet-like conditioning mechanism that incorporates spatiotemporal camera embeddings based on Pl\"ucker coordinates. The approach demonstrates state-of-the-art performance for controllable video generation after fine-tuning on the RealEstate10K dataset. To the best of our knowledge, our work is the first to enable camera control for transformer-based video diffusion models.

한 줄 요약

VD3D는 대규모 비디오 트랜스포머에 3D 카메라 제어를 가능하게 하는 컨디셔닝 메커니즘을 제안한다.

핵심 기여도

기존 U-Net 기반 모델에만 적용 가능한 카메라 제어 기법을, 트랜스포머 기반 비디오 디퓨전 모델(SnapVideo)에 확장.
Plücker 좌표 기반 스페이시오템포럴 카메라 임베딩을 도입, ControlNet 유사 컨디셔닝 메커니즘으로 구현.
RealEstate10K 데이터셋을 기반으로 파인튜닝하여 최신 기법 대비 우수한 성능 달성.
기존 이미지-3D 변환 기법과 달리, 복잡한 환경에서도 새로운 뷰포인트 생성 가능.

핵심 아이디어

기존 카메라 제어 기법은 U-Net 기반 모델의 독립적인 시간적 레이어를 조절하는 방식이었으나, 트랜스포머 기반 모델은 스페이시오템포럴 정보를 결합하여 처리하므로 기존 방법이 적용되지 않았다. 본 연구는 대규모 비디오 트랜스포머에서 스페이시오템포럴 정보를 통합적으로 처리하는 구조를 고려하여, Plücker 좌표를 기반으로 한 스페이시오템포럴 카메라 임베딩을 도입하고, 이를 컨디셔닝 정보로 활용하는 ControlNet 유사 메커니즘을 제안한다. 이는 기존의 단순한 레이어 조절 방식과 달리, 트랜스포머의 자산인 자가주의 구조를 활용하여 보다 자연스럽고 정확한 카메라 제어를 가능하게 한다.

기술적 접근법

**모델**: SnapVideo 기반 모델 사용. Far-reaching Interleaved Transformers (FIT) 블록을 통해 압축된 라티언트 공간에서 효율적인 비디오 모델링 수행.
**컨디셔닝 메커니즘**: Plücker 좌표를 기반으로 한 스페이시오템포럴 카메라 임베딩을 별도로 학습한 크로스-어텐션 레이어를 통해 네트워크 입력에 결합.
**파인튜닝**: RealEstate10K 데이터셋을 기반으로 수행.
**제한**: 현재는 저해상도 SnapVideo 모델에만 적용하며, 업스케일러 모델은 고정 상태.

주요 결과

**RealEstate10K 데이터셋**에서 **카메라 제어 가능성**과 **비디오 품질** 측면에서 **최신 기법 대비 우수한 성능**을 보임.
기존 이미지-3D 변환 기법과 달리, **복잡한 환경**에서도 **새로운 뷰포인트 생성** 가능.
**16프레임 이하**의 **짧은 비디오** 생성에 제한됨.

의의 및 한계

본 연구는 대규모 비디오 트랜스포머에서 3D 카메라 제어를 가능하게 함으로써, 콘텐츠 제작, 시각 효과, 3D 비전 분야에서의 실용성을 높이는 기반을 제공한다. 특히, 기존 U-Net 기반 모델에만 적용되던 기법을 트랜스포머 기반 모델로 확장한 점에서 학술적 의의가 크다. 그러나 동적 장면의 경우 카메라 뷰포인트에 따른 움직임의 일관성이 부족하며, 현재는 저해상도 모델에만 적용되고, 긴 비디오 생성에는 제한이 있다. 이는 향후 연구의 주요 과제로 제시된다.

실용적 활용

VD3D는 콘텐츠 제작자, 시각 효과 디자이너, 3D 비전 연구자에게 **직관적인 카메라 제어 기능**을 제공하여, **텍스트-비디오 생성** 및 **다중 뷰 비디오 생성** 등 다양한 분야에서 활용 가능하다. 특히, **복잡한 환경의 새로운 뷰포인트 생성**이 필요한 **증강현실(Augmented Reality)** 및 **가상현실(Virtual Reality)** 분야에서 유용하게 사용될 수 있다.