GeoWizard: Unleashing the Diffusion Priors for 3D Geometry Estimation from a Single Image

We introduce GeoWizard, a new generative foundation model designed for estimating geometric attributes, e.g., depth and normals, from single images. While significant research has already been conducted in this area, the progress has been substantially limited by the low diversity and poor quality of publicly available datasets. As a result, the prior works either are constrained to limited scenarios or suffer from the inability to capture geometric details. In this paper, we demonstrate that generative models, as opposed to traditional discriminative models (e.g., CNNs and Transformers), can effectively address the inherently ill-posed problem. We further show that leveraging diffusion priors can markedly improve generalization, detail preservation, and efficiency in resource usage. Specifically, we extend the original stable diffusion model to jointly predict depth and normal, allowing mutual information exchange and high consistency between the two representations. More importantly, we propose a simple yet effective strategy to segregate the complex data distribution of various scenes into distinct sub-distributions. This strategy enables our model to recognize different scene layouts, capturing 3D geometry with remarkable fidelity. GeoWizard sets new benchmarks for zero-shot depth and normal prediction, significantly enhancing many downstream applications such as 3D reconstruction, 2D content creation, and novel viewpoint synthesis.

한 줄 요약

GeoWizard는 단일 이미지로부터 깊이와 노멀을 추정하는 생성 모델로, 디퓨전 프라이어와 기하학 스위처를 활용해 정밀도와 일반화 능력을 향상시킨다.

핵심 기여도

**GeoWizard** 모델을 제안하여 단일 이미지로부터 깊이와 노멀을 **동시 추정**하는 새로운 생성 모델을 구축.
**Scene Distribution Decoupler** 전략을 제시하여 다양한 장면 분포를 분리해 추정 정확도를 높임.
**Geometry Switcher**를 도입해 단일 디퓨전 모델로 깊이와 노멀을 **일관성 있게 생성**.
**NYUv2, KITTI, ScanNet 등 6개 데이터셋**에서 **zero-shot** 기반의 기존 방법 대비 **16.2 → 18.1**의 성능 향상.

핵심 아이디어

기존 연구는 CNN이나 트랜스포머 기반의 판별 모델을 사용해 단일 이미지에서 3D 기하 정보를 추정했으나, 데이터셋의 다양성 부족과 추정 정확도의 한계로 인해 성능이 제약되었다. GeoWizard는 이 문제를 해결하기 위해 **생성 모델**, 특히 **디퓨전 모델**을 활용한다. 디퓨전 모델은 대규모 이미지로 사전 학습되어 3D 세계에 대한 풍부한 지식을 내재하고 있어, 이 문제에 적합하다는 통찰을 바탕으로 한다.

또한, 깊이와 노멀을 **동시 추정**함으로써 두 표현 간의 **상호 정보 교환**과 **일관성**을 유지할 수 있도록 설계했다. 이는 기존 연구에서 별도 모델로 처리되던 두 작업을 통합해 정확도를 높이는 핵심 아이디어이다.

기술적 접근법

**모델 구조**: 기존 **Stable Diffusion 모델**을 확장하여, **Geometry Switcher**를 도입해 깊이와 노멀을 **동시 생성**.
**입력 조건화**: CLIP 이미지 임베딩과 **latent 공간 결합**을 통해 조건을 넣어 생성 정확도를 높임.
**Scene Distribution Decoupler**: 다양한 장면 분포(실내, 실외, 배경 없는 객체)를 **서로 다른 하위 분포로 분리**해 추정 오류를 줄임.
**학습 전략**: **Cross-attention 기반의 classifier-free guidance**를 사용해 모델의 표현력과 안정성을 향상.
**추론**: **Markov 확률적 생성 과정**을 통해 깊이와 노멀을 생성하며, **denoising step**을 줄이는 방향으로 최적화 계획.

주요 결과

**NYUv2, KITTI, ScanNet, DIODE, OmniObject3D** 등 6개 데이터셋에서 **zero-shot 기반 깊이 추정** 성능이 기존 방법 대비 **+1.9%** 향상.
**Surface normal 추정**에서도 **NYUv2, ScanNet, iBim-1, DIODE, OmniObject3D**에서 **+1.8%** 개선.
**Geometry Switcher 제거 시** 기하학 일관성 수치가 **16.2 → 18.1**로 감소, 모듈의 효과를 입증.
**Scene Decoupler 제거 시** 모든 도메인에서 성능 저하, 특히 실내/실외 도메인에서 **가장 큰 영향**.

의의 및 한계

GeoWizard는 기존 판별 모델의 데이터셋 의존성과 추정 정확도의 한계를 극복한 **생성 기반 접근법**을 제시하며, 3D 기하 추정 분야에서 **새로운 기준**을 제시한다. 특히, **Scene Distribution Decoupler**와 **Geometry Switcher**를 통해 다양한 장면에서의 추정 정확도와 일관성을 동시에 달성한 점이 학술적·실용적 가치를 높인다.

하지만, **denoising step 수가 많아 추론 속도가 느림** (현재 1초 이상 소요)이 한계로 지적된다. 또한, **AIGC 이미지에 대한 일반화 능력**은 명시되지 않았으며, **실제 산업 환경에서의 성능 검증**이 필요하다.

실용적 활용

GeoWizard는 **3D 재구성**, **2D 콘텐츠 생성**, **새로운 시점 합성** 등 3D 컴퓨터 비전 분야의 다양한 **다운스트림 애플리케이션**에 활용 가능하다. 특히, **데이터셋이 제한된 환경**에서 **zero-shot 추정**이 필요한 경우에 유용하며, **AIGC 이미지 처리**나 **실시간 3D 생성** 시스템 개발에도 적용 가능하다.