PointDiT: Pixel-Space Diffusion for Monocular Geometry Estimation

State-of-the-art single-image 3D reconstruction methods often rely on complex hybrid architectures and loss functions, or compress geometry into latent spaces in order to leverage pre-trained latent diffusion models. In this work, we show that such architectural overhead and intricate loss formulations are unnecessary. We introduce a minimalist pixel-space Diffusion Transformer, built on a plain ViT, that operates directly on raw 3D point map patches and is conditioned on image tokens from a pre-trained DINOv3. Unlike existing latent diffusion approaches, we train our diffusion backbone entirely from scratch, eliminating the need for point map tokenizers. Despite its simplicity, our approach surpasses complex latent-based diffusion models while remaining significantly simpler than hybrid alternatives. Notably, it produces sharper geometric structure and is more robust in highly ambiguous regions, such as transparent objects.

한 줄 요약

PointDiT는 DINOv3 기반 이미지 토큰 조건부로 ViT 기반의 픽셀 공간 디퓨전 모델을 사용하여 단일 이미지에서 3D 포인트 맵을 생성하는 최소한의 구조를 제안한다.

핵심 기여도

ViT 기반의 픽셀 공간 디퓨전 모델(PointDiT)을 제안, 기존의 VAE 기반 라티언트 디퓨전 모델을 사용하지 않음.
기존 라티언트 디퓨전 모델 대비 BF1 지표에서 9.41 → 10.50 개선 (11.6% 상승).
단일 스텝 추론에서도 기존 방법을 상회하며, 추가 추론 스텝을 통해 BF1 지표가 지속적으로 향상됨.
DINOv3 기반 이미지 토큰 조건부로 학습, 강력한 시각 표현 학습과 디퓨전 학습을 결합.

핵심 아이디어

기존 라티언트 디퓨전 모델은 포인트 맵을 라티언트 공간으로 압축한 뒤 VAE를 통해 복원하는 방식을 사용하지만, 이 과정에서 정보 손실이 발생하고 복잡한 토크나이저 설계가 필요하다. PointDiT는 이러한 복잡성을 제거하고, ViT 기반의 디퓨전 트랜스포머를 사용하여 원시 포인트 맵 패치에 직접 작동한다. 핵심 아이디어는 **x-예측**(clean point map 예측)을 사용하는 것으로, 기존의 v-예측(velocity 예측) 방식보다 3D 포인트 맵 생성에서 훨씬 효과적임을 보여준다. 이는 JiT에서 이미지 생성에 성공적으로 사용된 x-예측을 3D 포인트 맵 생성으로 확장한 것이다.

기술적 접근법

**모델 구조**: ViT 기반의 디퓨전 트랜스포머(PointDiT)를 사용.
**입력**: 노이즈가 적용된 포인트 맵 패치, 현재 시간 단계 $ t $, 조건부 이미지 $ \mathbf{c} $.
**예측 대상**: clean point map ($ x $-prediction).
**조건부 정보**: DINOv3 기반 이미지 토큰을 사용하여 강력한 시각 표현을 결합.
**학습 방식**: flow matching 기반의 디퓨전 학습.
**추론**: 단일 스텝 추론 가능하며, 추가 스텝을 통해 BF1 지표가 향상됨.
**데이터셋**: SceneNet-RGBD에서 학습, 7개의 실제 데이터셋(DIODE, KITTI, NYUv2 등)에서 평가.

주요 결과

**BF1 지표**: PointDiT-H는 10.50 (기존 최고 기준 9.41 대비 +11.6%).
**Reld**: PointDiT-H는 4.21 (MoGe 대비 4.40 대비 -0.19).
**δ1d**: PointDiT-H는 85.3% (기존 최고 기준 대비 +2.1%).
**추론 스텝**: 단일 스텝 추론에서도 기존 방법을 상회하며, 추가 추론 스텝을 통해 BF1 지표가 지속적으로 향상됨.
**PPD 대비 성능**: 모든 지표에서 PPD를 상회하며, 추론 속도도 더 빠름.

의의 및 한계

PointDiT는 라티언트 디퓨전 모델에서 요구되는 VAE 압축 과정을 생략함으로써 정보 손실을 줄이고, 복잡한 토크나이저 설계를 필요로 하지 않아 구조적으로 단순하다. 또한, x-예측을 사용함으로써 기존 v-예측 방식보다 더 정확한 포인트 맵을 생성할 수 있다. 이는 디퓨전 모델이 3D 구조 데이터에 적용될 수 있음을 보여주는 중요한 사례이다. 그러나, 포인트 맵 생성에서 사용되는 **logit-normal 노이즈 스케줄**은 정확한 0을 샘플링하기 어려워 학습-테스트 불일치가 발생할 수 있다는 한계가 있다.

실용적 활용

PointDiT는 단일 이미지에서 3D 포인트 맵을 생성하는 데 사용될 수 있으며, 자율주행, 로봇 비전, AR/VR 등 3D 환경 이해가 필요한 산업에 적용 가능하다. 특히, DINOv3 기반의 강력한 시각 표현을 활용하여 다양한 환경에서 정확한 3D 재구성을 가능하게 한다.