Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer

Generating high-quality 3D assets from text and images has long been challenging, primarily due to the absence of scalable 3D representations capable of capturing intricate geometry distributions. In this work, we introduce Direct3D, a native 3D generative model scalable to in-the-wild input images, without requiring a multiview diffusion model or SDS optimization. Our approach comprises two primary components: a Direct 3D Variational Auto-Encoder (D3D-VAE) and a Direct 3D Diffusion Transformer (D3D-DiT). D3D-VAE efficiently encodes high-resolution 3D shapes into a compact and continuous latent triplane space. Notably, our method directly supervises the decoded geometry using a semi-continuous surface sampling strategy, diverging from previous methods relying on rendered images as supervision signals. D3D-DiT models the distribution of encoded 3D latents and is specifically designed to fuse positional information from the three feature maps of the triplane latent, enabling a native 3D generative model scalable to large-scale 3D datasets. Additionally, we introduce an innovative image-to-3D generation pipeline incorporating semantic and pixel-level image conditions, allowing the model to produce 3D shapes consistent with the provided conditional image input. Extensive experiments demonstrate the superiority of our large-scale pre-trained Direct3D over previous image-to-3D approaches, achieving significantly better generation quality and generalization ability, thus establishing a new state-of-the-art for 3D content creation. Project page: https://nju-3dv.github.io/projects/Direct3D/.

한 줄 요약

Direct3D는 이미지-3D 생성에서 다뷰 확산 모델이나 SDS 최적화 없이, 3D 잠재 공간 기반의 생성 모델을 통해 새로운 기준점을 제시한다.

핵심 기여도

Direct3D-VAE: 3D 점 구름을 효율적으로 **트리플레인 잠재 공간**으로 인코딩하는 새로운 VAE를 제안.
Direct3D-DiT: **트리플레인 잠재 공간**의 위치 정보를 융합하는 디퓨전 트랜스포머를 통해 이미지 조건 하에 3D 생성.
**반-연속 표면 샘플링 전략**을 도입하여, 이전 방식의 렌더링 기반 지도 신호를 사용하지 않고 3D 기하 정보를 직접 감독.
대규모 사전 학습 모델로, 기존 이미지-3D 생성 방법 대비 **생성 품질과 일반화 능력**에서 우수한 성능을 보인다.

핵심 아이디어

기존 3D 생성 모델은 다뷰 이미지 생성 → 3D 복원의 간접적 파이프라인을 사용했으나, 이는 효율성 저하와 세부 정보 손실을 초래했다. Direct3D는 이를 극복하기 위해 **단일 이미지에서 직접 3D 생성**을 가능하게 하는 **트랜스포머 기반 디퓨전 모델**을 제안한다. 핵심 아이디어는 3D 점 구름을 **트리플레인 잠재 공간**으로 인코딩하고, 이를 기반으로 이미지 조건 하에 3D 생성을 수행하는 것이다. 이는 2D 이미지 생성에서 사용되는 잠재 확산 모델(LDM)의 아이디어를 3D 공간으로 확장한 것으로, **D3D-VAE**와 **D3D-DiT**라는 두 주요 모듈을 통해 구현된다.

기술적 접근법

**D3D-VAE**: 3D 점 구름을 **트리플레인 잠재 공간**으로 인코딩.
저해상도 트리플레인을 생성 후, 컨볼루션 네트워크를 통해 **고해상도 3D occupancy grid**로 디코딩.
**D3D-DiT**: 이미지 조건 하에 3D 생성을 수행하는 디퓨전 트랜스포머.
**트리플레인 잠재 공간**의 위치 정보를 융합.
**픽셀 레벨**과 **세미antics 레벨**의 이미지 정보를 각 DiT 블록에 통합.
**반-연속 표면 샘플링 전략**을 사용하여, 3D occupancy grid를 직접 감독.
**Hunyuan-DiT**에서 생성된 in-the-wild 이미지로 테스트.

주요 결과

**Hunyuan-DiT**에서 생성된 in-the-wild 이미지를 입력으로 사용한 3D 생성 결과에서, 기존 방법 대비 **생성 품질과 일반화 능력**이 향상됨.
**D3D-DiT**는 기존 이미지-3D 생성 모델 대비 **더 높은 해상도와 정확도**를 보임.
**대규모 사전 학습**을 통해, 기존 3D 생성 모델에서 발생하는 **세부 정보 손실** 문제를 해결.
**반-연속 표면 샘플링 전략**을 도입함으로써, 렌더링 기반 지도 신호 없이도 **고품질 3D 기하 구조**를 생성.

의의 및 한계

Direct3D는 3D 생성 분야에서 **단일 이미지 기반의 직접 생성**을 가능하게 하며, 기존 다뷰-3D 복원 파이프라인의 한계를 극복한다. **트리플레인 잠재 공간**을 기반으로 한 모델은 3D 기하 정보를 효율적으로 인코딩하고, **D3D-DiT**는 이미지 조건 하에 정확한 3D 생성을 가능하게 한다. 그러나 현재 모델은 **개별 객체 또는 다중 객체** 생성에만 제한되며, **대규모 장면 생성**은 아직 지원하지 않는다. 이는 향후 연구 주제로 제시된다.

실용적 활용

Direct3D는 3D 콘텐츠 생성 분야에서 **게임 개발**, **증강현실(AR)**, **의료 시각화**, **산업 설계** 등에 활용될 수 있다. 특히, **단일 이미지에서 고해상도 3D 모델 생성**이 필요한 산업에서는 기존 방식 대비 **생산성 향상**과 **시간 절약** 효과를 기대할 수 있다.