FoundationStereo: Zero-Shot Stereo Matching

Tremendous progress has been made in deep stereo matching to excel on benchmark datasets through per-domain fine-tuning. However, achieving strong zero-shot generalization — a hallmark of foundation models in other computer vision tasks — remains challenging for stereo matching. We introduce FoundationStereo, a foundation model for stereo depth estimation designed to achieve strong zero-shot generalization. To this end, we first construct a large-scale (1M stereo pairs) synthetic training dataset featuring large diversity and high photorealism, followed by an automatic self-curation pipeline to remove ambiguous samples. We then design a number of network architecture components to enhance scalability, including a side-tuning feature backbone that adapts rich monocular priors from vision foundation models to mitigate the sim-to-real gap, and long-range context reasoning for effective cost volume filtering. Together, these components lead to strong robustness and accuracy across domains, establishing a new standard in zero-shot stereo depth estimation. Project page: https://nvlabs.github.io/FoundationStereo/

한 줄 요약

FoundationStereo는 제로샷 제너럴라이제이션을 달성한 대규모 스테레오 깊이 추정 기초 모델로, 1M쌍의 합성 데이터와 Side-Tuning Adapter, AHCF 모듈을 통해 실내외 데이터셋에서 뛰어난 성능을 보인다.

핵심 기여도

1M쌍의 고품질 합성 데이터셋(FSD) 생성 및 자동 샘플 정제 파이프라인 도입.
Side-Tuning Adapter(STA)를 통해 DepthAnythingV2의 모노코ulares prior를 스테레오 설정에 적응.
Attentive Hybrid Cost Filtering(AHCF) 모듈 설계: 3D Axial-Planar Convolution(APC)와 Disparity Transformer(DT)를 결합.
Middlebury 데이터셋에서 제로샷으로 기존 방법 대비 +10% 이상 성능 향상.

핵심 아이디어

기존 스테레오 매칭 모델은 도메인별 미세조정 없이 제로샷 제너럴라이제이션을 달성하지 못했다. FoundationStereo는 이 문제를 해결하기 위해 대규모 합성 데이터와 모노코ulares prior를 활용한 모델 구조를 제안한다. 특히, Side-Tuning Adapter는 이미지넷 규모의 사전 학습 모델(DepthAnythingV2)의 정보를 스테레오 설정에 적응시켜 시뮬레이션-현실 간의 격차를 줄인다. AHCF 모듈은 3D APC와 DT를 결합하여, 비용 볼륨의 공간 및 깊이 차원에서 효과적인 특징 집계를 수행한다. 이는 초기 깊이 추정의 정확도를 높이고, 이후 GRU 기반 반복 정제 과정에서 더 나은 성능을 유도한다.

기술적 접근법

**데이터셋**: 1M쌍의 고품질 합성 스테레오 이미지(FSD) 생성. 자동 샘플 정제 파이프라인으로 모호한 샘플 제거.
**모델 구조**:
**Side-Tuning Adapter (STA)**: DepthAnythingV2의 사전 학습된 모노코ulares prior를 스테레오 설정에 적응.
**Attentive Hybrid Cost Filtering (AHCF)**:
**3D Axial-Planar Convolution (APC)**: 3D 컨볼루션을 공간 및 깊이 차원으로 분리하여 수용 필드 확장.
**Disparity Transformer (DT)**: 비용 볼륨 내 전체 깊이 차원에서 self-attention 수행, 전역 맥락 제공.
**하이퍼파라미터**: APC의 디스패리티 커널 크기 최대 17로 설정 시 성능 포화. DT 모듈은 RoPE 대신 cosine position embedding 사용.

주요 결과

**Middlebury 데이터셋**: 제로샷 기반으로 기존 방법 대비 +10% 이상 성능 향상.
**FSD 데이터셋**: 1M쌍의 합성 데이터로 훈련한 모델이 기존 Scene Flow(40K쌍) 기반 모델보다 훨씬 높은 정확도 달성.
**AHCF 모듈**: APC와 DT의 결합으로 초기 깊이 추정 정확도 +7.2%, GRU 반복 정제 과정에서 +4.5% 개선.

의의 및 한계

FoundationStereo는 스테레오 매칭 분야에서 제로샷 제너럴라이제이션을 가능하게 한 첫 기초 모델로, 다양한 도메인에서의 실용성을 확장한다. 특히, 기존 방법들이 특정 도메인에 의존하는 반면, FoundationStereo는 미세조정 없이도 뛰어난 성능을 보인다. 그러나 모델 효율성은 아직 개선이 필요하다. A100 GPU 기준 375 × 1242 크기 이미지 처리에 0.7초 소요. 또한, 투명 물체에 대한 데이터가 제한되어 있어, 향후 더 다양한 투명 객체를 포함한 데이터셋 확장을 통해 안정성을 높이는 연구가 필요하다.

실용적 활용

FoundationStereo는 자율주행, 로봇 비전, AR/VR 등 다양한 산업 분야에서 즉석 사용이 가능한 스테레오 깊이 추정 모델로 활용 가능하다. 특히, 도메인별 미세조정 없이도 뛰어난 성능을 보이는 점에서, 빠른 배포와 유지보수를 요구하는 실시간 시스템에 적합하다.