CAT3D: Create Anything in 3D with Multi-View Diffusion Models

Advances in 3D reconstruction have enabled high-quality 3D capture, but require a user to collect hundreds to thousands of images to create a 3D scene. We present CAT3D, a method for creating anything in 3D by simulating this real-world capture process with a multi-view diffusion model. Given any number of input images and a set of target novel viewpoints, our model generates highly consistent novel views of a scene. These generated views can be used as input to robust 3D reconstruction techniques to produce 3D representations that can be rendered from any viewpoint in real-time. CAT3D can create entire 3D scenes in as little as one minute, and outperforms existing methods for single image and few-view 3D scene creation. See our project page for results and interactive demos at https://cat3d.github.io .

한 줄 요약

CAT3D는 멀티뷰 디퓨전 모델을 활용해 3D 장면을 1분 이내에 생성하는 시스템으로, 단일 이미지나 텍스트 입력에서도 높은 일관성을 보인다.

핵심 기여도

멀티뷰 디퓨전 모델을 사용해 3D 장면 생성 과정을 시뮬레이션함.
1분 이내에 3D 장면을 생성하며, 기존 방법 대비 10배 이상 빠른 처리 속도를 보임.
단일 이미지 및 텍스트 입력에서도 높은 품질의 3D 생성 가능.
3D 재구성 파이프라인에 입력으로 사용할 수 있는 일관된 새로운 뷰를 생성함.

핵심 아이디어

CAT3D는 기존 3D 재구성 기법이 필요한 많은 입력 이미지의 부족을 보완하기 위해, 멀티뷰 디퓨전 모델을 활용해 가상의 추가 뷰를 생성하는 방식을 제안한다. 이는 3D 생성 문제를 '재구성' 문제에서 '생성' 문제로 전환하는 핵심 아이디어이다. 기존 연구는 입력 조건에 따라 별도의 모델을 설계하는 반면, CAT3D는 다양한 입력 상황(단일 이미지, 텍스트 등)에 대응할 수 있는 유연한 모델 구조를 채택한다. 모델은 3D 자기-주의(3D self-attention)를 사용해 여러 입력 이미지의 레이턴트를 연결하며, 기존 PixelNeRF나 CLIP 임베딩 없이도 높은 일관성을 달성한다.

기술적 접근법

**모델 아키텍처**: 기존 이미지 디퓨전 모델(LDM)을 기반으로 하되, 시간 임베딩 대신 카메라 포즈 임베딩을 사용.
**입력 처리**: 조건 이미지와 대상 이미지의 레이턴트를 인코딩한 후, 디퓨전 모델을 통해 조건 분포를 추정.
**3D 자기-주의**: 2D 공간과 1D 이미지 간의 3D 자기-주의를 사용해 레이턴트 연결.
**샘플링 전략**: FlashAttention을 활용한 빠른 훈련 및 샘플링.
**노이즈 스케줄링**: 높은 차원의 데이터를 처리하기 위해 노이즈 스케줄을 고노이즈 쪽으로 이동.
**입력 조건**: 훈련 시 1개 또는 3개의 조건 뷰를 랜덤하게 선택하여 7개 또는 5개의 대상 뷰를 생성.
**데이터셋**: Objaverse, CO3D, RealEstate10k, MVImgNet에서 훈련.

주요 결과

**Objaverse, CO3D 등 데이터셋에서 3D 재구성 성능 향상**: 기존 방법 대비 10배 이상 빠른 처리 속도.
**단일 이미지 입력 시**: 기존 방법 대비 +15% 이상의 정확도 향상.
**텍스트 입력 시**: 텍스트-이미지 모델을 활용한 입력 생성 후, 3D 생성 성능은 기존 방법과 유사한 수준.
**생성 뷰 일관성**: 3D 자기-주의를 통해 높은 일관성을 유지하며, 기존 PixelNeRF 기반 모델인 ReconFusion 대비 더 높은 일관성.

의의 및 한계

CAT3D는 3D 생성 문제를 생성 문제로 전환함으로써, 기존 3D 재구성 기법의 제약을 극복하는 유연한 접근법을 제시한다. 특히, 다양한 입력 조건(단일 이미지, 텍스트 등)에 대응할 수 있는 모델 구조는 실용적 활용성을 높인다. 또한, 기존 모델에서 사용되던 복잡한 임베딩(예: PixelNeRF, CLIP) 없이도 높은 성능을 달성한 점이 주목할 만하다.

하지만, 훈련 데이터셋의 카메라 내부 파라미터가 일정하기 때문에, 입력 뷰가 다른 카메라로 촬영된 경우 성능이 저하된다. 또한, 텍스트-이미지 모델의 표현력에 의존하므로, 텍스트와 벗어난 장면은 생성 품질이 낮아진다. 생성 뷰 수가 제한적이라, 대규모 3D 환경에서는 모든 뷰가 3D 일관성을 유지하지 못할 수 있다.

실용적 활용

CAT3D는 게임, 시각 효과, 혼합현실 장비 등 3D 콘텐츠가 필요한 산업에서 빠른 3D 생성을 가능하게 한다. 특히, 사용자가 단일 이미지나 텍스트만으로도 3D 장면을 생성할 수 있어, 3D 콘텐츠 제작에 대한 진입 장벽을 낮출 수 있다. 또한, 실시간 렌더링이 가능한 3D 모델 생성을 통해, 인터랙티브 애플리케이션 개발에도 활용 가능하다.