monocular-depth multi-depth depth-foundation-models laplacian-visual-prompting depth-layer-preference geometric-ambiguity md-3k spatial-relationship-accuracy
Abstract
A faithful 3D world representation should account for layered geometry, where a single camera ray may contain multiple visible and geometrically valid surfaces. Monocular depth estimation, however, reduces this structure to one scalar depth per pixel. Transparent scenes make this ambiguity measurable: the same ray can pass through foreground glass and observe the background, turning the supervised target into a convention of annotation, data, and training rather than a scene-intrinsic truth. A learned predictor exposes this convention as its depth-layer preference. We introduce MultiDepth-3k (MD-3k), a sparse two-layer ordinal benchmark for measuring depth-layer preference and multi-layer spatial relationship accuracy (ML-SRA). On MD-3k, leading depth foundation models exhibit diverse layer preferences under standard RGB input, showing that the same layered geometry can be resolved differently across models. We further find that Laplacian Visual Prompting (LVP), a training-free spectral input transformation, can substantially change the reported layer for certain frozen models. The strongest RGB/LVP pair, DAv2-L, reaches 75.5% ML-SRA. These results suggest that depth foundation models may express complementary geometric hypotheses that standard RGB inference leaves unexpressed. We invite the community to rethink depth supervision and evaluation through an ambiguity-aware lens, where multiple valid 3D interpretations are treated as geometric structure to be measured, preserved, and expressed.
한국어 요약
한 줄 요약
단일 카메라 레이에 여러 유효한 깊이가 존재하는 모호한 3D 구조를 분석하기 위한 새로운 평가 기준과 입력 변형 기법이 제안되었다.
핵심 기여도
- MultiDepth-3k (MD-3k)라는 투명 장면 기반 이중 깊이 레이블 평가 기준을 제안.
- DAv2-L 모델의 RGB/LVP 조합이 ML-SRA 75.5% 달성.
- Laplacian Visual Prompting (LVP)가 훈련 없이도 일부 모델의 깊이 레이어를 변형할 수 있음.
- 기존 단일 깊이 추정 모델이 여러 유효한 3D 해석을 표현할 잠재력을 제시.
핵심 아이디어
기존 단일 카메라 레이에 단일 깊이를 할당하는 방식은 투명 장면에서 모호성을 발생시킨다. 예를 들어, 앞쪽 유리와 뒤쪽 배경 모두 유효한 깊이를 가질 수 있지만, 기존 모델은 하나의 레이어만 선택한다. 이는 데이터셋, 어노테이션, 훈련 과정에서 형성된 '레이어 컨벤션'으로, 모델이 학습하는 것이 아니라 선호하는 레이어를 반영한다. 이를 측정하기 위해 MD-3k라는 이중 레이블 평가 기준을 제시하며, LVP라는 훈련 없이도 입력 변형을 통해 모델의 레이어 선호도를 조절할 수 있음을 보인다. 이는 단일 출력 모델이 입력 변화에 따라 다른 유효한 3D 해석을 표현할 수 있음을 시사한다.
기술적 접근법
- **MD-3k**: 투명 장면에서 전경(투명 표면)과 배경의 이중 레이블을 제공하는 ordinal benchmark.
- **ML-SRA**: 두 레이어의 상대 깊이 관계가 모두 정확히 예측되었는지를 평가하는 지표.
- **LVP (Laplacian Visual Prompting)**: 고주파 강조를 기반으로 한 훈련 없이도 적용 가능한 입력 변형 기법.
- **Depth-Layer Preference (α)**: SRA(2) - SRA(1)로 정의, 모델이 배경 또는 전경 레이어를 선호하는지를 측정.
- 평가 모델: DAv1, DAv2, DPT, ZoeDepth, Marigold, GeoWizard, Depth Pro 등.
주요 결과
- MD-3k에서 주요 깊이 기초 모델이 다양한 레이어 선호도를 보임.
- DAv2-L 모델의 RGB/LVP 조합이 ML-SRA 75.5% 달성 (기존 단일 가설 기준 56.4% 대비 +19.1%).
- LVP는 DPT, Depth Pro, DAv2 시리즈 일부 모델에서 레이어 예측을 강하게 변화시킴.
- Gaussian low-pass prompt는 Reverse subset에서 실패 (점수 근접 0), LVP는 고주파 강조로 성능 향상.
의의 및 한계
- MD-3k는 단일 깊이 추정 모델이 여러 유효한 3D 해석을 표현할 수 있음을 실증적으로 보여주는 첫 시도.
- LVP는 훈련 없이도 입력 변형을 통해 모델의 레이어 선호도를 조절할 수 있음을 보여, 새로운 평가 및 훈련 접근법의 가능성을 제시.
- 한계로는 LVP가 모델 종속적이라는 점과, MD-3k가 투명 장면에만 초점 맞춰 있어 일반화 가능성 제한. 또한, 레이블이 희소한 상태에서 평가됨.
실용적 활용
투명 장면 처리가 필요한 자율주행, AR/VR, 로봇 비전 분야에서 모델이 여러 유효한 깊이 해석을 표현할 수 있도록 평가 및 설계에 활용 가능. 또한, LVP는 훈련 없이도 입력 변형을 통해 모델 성능을 조절하는 실용적 도구로 활용될 수 있다.