Depth Anything: Unleashing the Power of Large-Scale Unlabeled Data

This work presents Depth Anything11While the grammatical soundness of this name may be questionable, we treat it as a whole and pay homage to Segment Anything [26]., a highly practical solution for robust monocular depth estimation. Without pursuing novel technical modules, we aim to build a simple yet powerful foundation model dealing with any images under any circumstances. To this end, we scale up the dataset by designing a data engine to collect and automatically annotate large-scale unlabeled data (~62M), which significantly enlarges the data coverage and thus is able to reduce the generalization error. We investigate two simple yet effective strategies that make data scaling-up promising. First, a more challenging optimization target is created by leveraging data augmentation tools. It compels the model to actively seek extra visual knowledge and acquire robust representations. Second, an auxiliary supervision is developed to enforce the model to inherit rich semantic priors from pre-trained encoders. We evaluate its zero-shot capabilities extensively, including six public datasets and randomly captured photos. It demonstrates impressive generalization ability (Figure 1). Further, through fine-tuning it with metric depth information from NYUv2 and KITTI, new SOTAs are set. Our better depth model also results in a better depth-conditioned ControlNet. Our models are released here.

한 줄 요약

Depth Anything는 62M 개의 자동 라벨링된 비정제 이미지를 기반으로 강력한 제로샷 단일 카메라 깊이 추정 모델을 구축한 연구이다.

핵심 기여도

62M 개의 비정제 이미지를 수집하고 자동 라벨링한 데이터 엔진 설계.
강화된 최적화 타겟과 사전 학습된 인코더의 세미antics 활용을 통해 모델 일반화 능력 향상.
제로샷 성능에서 MiDaS-BEiT L-512 대비 NYUv2에서 δ₁ 0.951 vs. 0.984, ADE20K에서 mIoU 52.4 vs. 59.4로 개선.
DINOv2 기반 인코더를 사용하여 다중 작업 시스템으로 확장 가능.

핵심 아이디어

Depth Anything는 기존의 센서 기반 라벨링 방식을 벗어나, 저비용이고 다양한 비정제 이미지를 활용하는 새로운 접근법을 제시한다. 이 연구는 62M 개의 이미지를 수집한 데이터 엔진을 통해 라벨링 과정을 자동화하고, 이를 통해 데이터 커버리지를 대폭 확장한다.

핵심 아이디어는 두 가지 전략에 있다. 첫째, 강한 데이터 증강을 통해 모델이 더 어려운 최적화 타겟을 학습하도록 유도하여, 추가적인 시각적 지식을 추출하고, 일반적인 표현을 학습하게 한다. 둘째, 사전 학습된 인코더(DINOv2)의 세미antics 정보를 유지하기 위해 특징 정렬 손실(ℒfeat)을 도입하여, 고수준 장면 이해 능력을 강화한다. 이는 보조 세그멘테이션 작업 대신 더 효과적인 방법으로 제시된다.

기술적 접근법

**데이터 엔진**: 62M 개의 비정제 이미지를 8개의 대규모 공개 데이터셋(SA-1B, Open Images, BDD100K 등)에서 수집.
**자동 라벨링**: 1.5M 개의 라벨링된 이미지를 사용해 초기 MDE 모델을 학습하고, 이를 통해 비정제 이미지를 자동 라벨링.
**강화된 최적화**: 강한 데이터 증강(𝒮)을 적용해 모델이 더 어려운 타겟을 학습하도록 유도.
**세미antics 유지**: DINOv2 기반 인코더의 특징 정렬 손실(ℒfeat)을 도입해 고수준 세미antics 정보를 유지.
**모델 아키텍처**: ViT-L 인코더를 사용하며, DINOv2에서 미세 조정하여 다중 작업 시스템으로 확장.

주요 결과

**제로샷 성능**: 6개 공개 데이터셋과 무작위 촬영 사진에서 뛰어난 일반화 능력 보임.
**미세 조정 성능**: NYUv2에서 δ₁ 0.984 (MiDaS-BEiT L-512 대비 +0.033), ADE20K에서 mIoU 59.4 (MiDaS 대비 +7.0) 달성.
**다중 작업 성능**: DINOv2 대비 NYUv2 δ₁ 0.984, ADE20K mIoU 59.4로 상회.
**인코더 성능**: MiDaS v3.1 인코더 대비 NYUv2 δ₁ 0.951 vs. 0.984, ADE20K mIoU 52.4 vs. 59.4로 개선.

의의 및 한계

Depth Anything는 단일 카메라 깊이 추정 분야에서 기초 모델(foundation model)의 가능성을 입증한 연구로, 저비용이고 다양한 비정제 이미지를 활용한 데이터 확장 전략이 학술적·실용적 가치를 가진다. 특히, 강화된 최적화와 세미antics 유지 전략은 기존 접근법을 개선하고, 다중 작업 시스템으로 확장 가능하다는 점에서 혁신적이다.

그러나, 62M 개의 데이터를 자동 라벨링한 과정에서 발생할 수 있는 노이즈 문제는 명시되지 않았으며, 특정 장면(예: 초장거리 건물)에서는 일부 라벨링 데이터셋(MegaDepth)이 더 효과적일 수 있다는 한계도 존재한다.

실용적 활용

Depth Anything는 로봇, 자율주행, 가상현실 등 단일 카메라 기반의 깊이 추정이 필요한 산업에 적용 가능하다. 또한, 미세 조정 없이도 다양한 환경에서 작동하는 제로샷 모델로서, 빠른 프로토타이핑과 저비용 시스템 구축에 유용하다.