UniDepth: Universal Monocular Metric Depth Estimation

Accurate monocular metric depth estimation (MMDE) is crucial to solving downstream tasks in 3D perception and modeling. However, the remarkable accuracy of recent MMDE methods is confined to their training domains. These methods fail to generalize to unseen domains even in the presence of moderate domain gaps, which hinders their practical applicability. We propose a new model, UniDepth, capable of reconstructing metric 3D scenes from solely single images across domains. Departing from the existing MMDE methods, UniDepth directly predicts metric 3D points from the input image at inference time without any additional information, striving for a universal and flexible MMDE solution. In particular, UniDepth implements a self-promptable camera module predicting dense camera representation to condition depth features. Our model exploits a pseudo-spherical output representation, which disentangles camera and depth representations. In addition, we propose a geometric invariance loss that promotes the invariance of camera-prompted depth features. Thorough evaluations on ten datasets in a zero-shot regime consistently demonstrate the superior performance of UniDepth, even when compared with methods directly trained on the testing domains. Code and models are available at: github.com/lpiccinelli-eth/unidepth.

한 줄 요약

UniDepth는 단일 이미지로 도메인 간 메트릭 3D 깊이를 추정하는 최초의 유니버설 모델로, 10개 데이터셋에서 제로샷 성능을 기록했다.

핵심 기여도

**Self-promptable camera module** 도입: 깊이 추정에 조건을 주는 밀집된 카메라 표현을 학습.
**Pseudo-spherical output representation**: 카메라와 깊이 표현을 분리하여 최적화 문제를 해결.
**Geometric invariance loss**: 카메라-조건 깊이 특징의 불변성을 강화하여 추정 정확도 향상.
**10개 데이터셋 제로샷 평가**: 기존 도메인 학습 모델보다 우수한 성능 (예: KITTI에서 δ₁ 95.2%).

핵심 아이디어

기존 MMDE 모델은 카메라 파라미터나 도메인 정보가 필요하며, 이는 일반화 능력을 제한한다. UniDepth는 **단일 이미지**만으로 **메트릭 3D 깊이**를 추정하는 **유니버설 MMDE**를 목표로 한다. 이는 **self-promptable camera module**을 통해 **카메라 정보 없이도** 깊이 추정이 가능하도록 설계되었다. 또한, **pseudo-spherical output representation**은 카메라와 깊이 공간을 직교적으로 분리하여 **scale ambiguity** 문제를 해결한다. **Geometric invariance loss**는 서로 다른 카메라 뷰에서 추정된 깊이가 일관되도록 유도하여 **robustness**를 향상시킨다.

기술적 접근법

**Self-promptable camera module**: **dense camera representation**을 학습하여 깊이 추정에 조건을 제공.
**Pseudo-spherical output space**: **azimuth, elevation, radial** 성분으로 카메라와 깊이를 분리.
**Geometric invariance loss**: **두 개의 기하학적 증강**을 통해 **depth feature invariance**를 강화.
**Loss function**: **ℒₐₘₛₑ**를 사용하며, **Encoder-Decoder** 구조를 기반으로 구현.
**Ablation study**: **Oracle, Baseline, Baseline++** 등 다양한 버전으로 성능 비교.

주요 결과

**KITTI 데이터셋**에서 δ₁ 95.2% (Full 모델), "– Camera" 모델 대비 36.3% 개선.
**nuScenes 및 DDAD**에서 2% 이내의 차이로, 일반화 성능이 뛰어남.
**10개 데이터셋**에서 제로샷 평가를 통해 기존 도메인 학습 모델보다 우수한 성능.
**Out-of-Domain 성능**이 **In-Domain**보다 낮지만, **Full 모델**이 가장 안정적.

의의 및 한계

UniDepth는 **카메라 파라미터 없이도** 메트릭 3D 깊이를 추정하는 **최초의 모델**로, **실제 세계 이미지** 처리에 적합하다. **pseudo-spherical output space**와 **geometric invariance loss**는 기존 모델의 **scale ambiguity**와 **camera dependency** 문제를 해결한다. 그러나 **Out-of-Domain** 데이터에서는 **성능 변동**이 발생하며, **카메라 정보가 없는 경우** 깊이 추정 정확도가 감소하는 한계가 있다. 또한, **복잡한 3D 구조**를 포함한 데이터에서는 **추가 연구**가 필요하다.

실용적 활용

UniDepth는 **로봇**, **자율주행**, **3D 모델링** 등에서 **실시간 3D 깊이 추정**에 활용 가능하다. 특히, **사용자 제출 이미지**(crowd-sourced images)나 **무작위 카메라 설정** 환경에서 유용하며, **추가 정보 없이도** 정확한 3D 재구성이 필요한 **실내/실외 혼합 공간** 분석에도 적용 가능하다.