Probing the 3D Awareness of Visual Foundation Models

Recent advances in large-scale pretraining have yielded visual foundation models with strong capabilities. Not only can recent models generalize to arbitrary images for their training task, their intermediate representations are useful for other visual tasks such as detection and segmentation. Given that such models can classify, delineate, and local- ize objects in 2D, we ask whether they also represent their 3D structure? In this work, we analyze the 3D awareness of visual foundation models. We posit that 3D awareness implies that representations (1) encode the 3D structure of the scene and (2) consistently represent the surface across views. We conduct a series of experiments using task-specific probes and zero-shot inference procedures on frozen fea- tures. Our experiments reveal several limitations of the current models. Our code and analysis can be found at https://github.com/mbanani/probe3d.

한 줄 요약

시각 기초 모델이 3D 구조를 얼마나 잘 인식하는지 탐구한 연구로, DINOv2와 StableDiffusion이 2D 학습에도 3D 정보를 부분적으로 인코딩함을 밝힘.

핵심 기여도

**DINOv2**는 학습 목적과 무관하게 깊이(depth)와 표면 법선(surface normals)을 인코딩함.
**StableDiffusion**은 DINOv2에 이어 3D 정보를 잘 인코딩하는 모델로 나타남.
**CLIP**은 의미적 일반화 능력은 뛰어나지만 3D 인식 능력은 매우 낮음.
**다중 뷰 일관성**(multiview consistency)은 대부분의 모델에서 취약하며, 이는 3D 인식이 아닌 2.5D 수준의 이해에 머무름.

핵심 아이디어

시각 기초 모델이 3D 구조를 얼마나 잘 인식하는지 평가하기 위해 **단일 뷰 표면 재구성**(single-view surface reconstruction)과 **다중 뷰 일관성**(multiview consistency)이라는 두 가지 기준을 제시함.
이 연구는 **frozen feature**를 사용해 모델의 내부 표현을 분석함으로써, 모델이 학습된 가중치를 transfer하지 않고도 3D 정보를 얼마나 잘 담고 있는지를 평가함.
이를 위해 **task-specific probes**와 **zero-shot inference**를 사용하여, 모델이 학습 과정에서 3D 정보를 암묵적으로 학습했는지 탐색함.

기술적 접근법

**모델**: DINOv2, StableDiffusion, CLIP 등 다양한 시각 기초 모델을 평가.
**평가 지표**: 깊이, 표면 법선, 3D 대응(correspondence) 추정.
**데이터셋**: NAVI, ScanNet.
**평가 방법**: **frozen feature**를 사용한 **task-specific probe**와 **zero-shot inference**.
**분석 방법**: **Pearson 상관계수**를 통해 다양한 3D 관련 작업 간의 상관관계 분석.
**결과 집계**: 단일 뷰 및 다중 뷰 작업에서의 성능을 모델별로 평가함.

주요 결과

**DINOv2**는 **깊이 추정**(depth estimation)과 **표면 법선 추정**(surface normal estimation)에서 높은 성능을 보임.
**StableDiffusion**은 DINOv2에 이어 3D 정보를 잘 인코딩하는 모델로 나타남.
**CLIP**은 의미적 일반화 능력은 뛰어나지만, 3D 인식 능력은 매우 낮음.
**NAVIt** 데이터셋에서 **대응 추정**(correspondence estimation) 성능은 뷰포인트 변화가 클수록 급격히 저하됨.
**모든 단일 뷰 작업**(single-view tasks) 간의 성능 상관계수는 0.82 이상으로 높은 상관관계를 보임.
**다중 뷰 작업**(multiview tasks) 간의 상관계수는 낮아, 3D 일관성이 부족함을 시사함.

의의 및 한계

이 연구는 시각 기초 모델이 3D 구조를 얼마나 잘 인식하는지를 체계적으로 평가한 첫 시도로, **3D 인식 능력**(3D awareness)이 학습 목적과 밀접하게 관련됨을 보여줌.
또한, **zero-shot 방식**으로 모델의 내재적 표현을 분석함으로써, 모델이 3D 정보를 암묵적으로 학습했는지를 평가할 수 있는 새로운 접근법을 제시함.
그러나, **다양한 데이터셋과 학습 스케일**에서 훈련된 모델을 사용했기 때문에, **공정한 비교**는 어려웠으며, **더 복잡한 3D 인식 작업**(예: 변형 예측, 공간 관계 추론)은 탐구되지 않았음.

실용적 활용

이 연구는 **이미지 생성**(image generation) 및 **비전-언어 모델**(vision-language models)의 3D 인식 능력을 평가하는 데 활용될 수 있으며, **3D 재구성**(3D reconstruction)이나 **로봇 비전**(robot vision) 분야에서 모델 선택에 참고가 될 수 있음.
또한, **시각 표현 학습**(visual representation learning)의 평가 기준을 확장하는 데 기여할 수 있음.