Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching

Recent advances in stereo matching have achieved remarkable accuracy, but often rely on large models, heavy computation, or additional foundation-model priors, making them difficult to deploy on resource-constrained platforms. In contrast, efficient stereo models offer faster inference but are commonly considered less capable of strong zero-shot generalization. In this paper, we challenge this assumption by introducing Lite Any Stereo V2 (LAS2), an ultra-fast model series designed for efficient zero-shot stereo matching. LAS2 is developed from both architecture and training perspectives. Architecturally, we revisit efficient stereo design under practical deployment settings and propose a 2D-only cost aggregation framework, optimized for real inference latency rather than theoretical MACs alone. For training, we develop a three-stage strategy that combines synthetic supervision, self-distillation, and real-world knowledge distillation. To improve the reliability of real-world pseudo supervision, we further introduce pseudo-label filtering and an error-clamping operation, enabling smoother synthetic-to-real transfer. We instantiate LAS2 as a family of models, including feed-forward variants for different efficiency budgets and an iterative variant for higher accuracy. Extensive experiments show that LAS2 achieves state-of-the-art accuracy among efficient stereo methods while maintaining significantly lower latency. Specifically, LAS2-H achieves stronger overall zero-shot performance than the iterative method Fast-FoundationStereo, with 1.8x and 2.7x faster inference on H200 and Orin, respectively. The project page, demos, and code are available at https://tomtomtommi.github.io/LiteAnyStereoV2/.

한 줄 요약

Lite Any Stereo V2는 자원 제약 환경에서도 빠르고 정확한 제로샷 스테레오 매칭을 제공하는 초경량 모델이다.

핵심 기여도

2D-only cost aggregation 프레임워크를 제안하여 실제 추론 지연 시간을 최적화함.
3단계 훈련 전략(합성 감독, 자기-디스틸레이션, 실제 지식 디스틸레이션)을 도입함.
의사 라벨 필터링과 오류 클램프 연산을 통해 합성-실제 전이 신뢰도를 향상시킴.
다양한 효율성 예산에 맞춘 피드포워드 및 반복형 모델을 포함한 모델 패밀리 구축함.

핵심 아이디어

기존의 효율적인 스테레오 모델은 일반적으로 제로샷 일반화 능력이 낮다고 여겨졌으나, 본 연구는 이 가정을 반박하고 빠른 추론 속도와 강력한 제로샷 성능을 동시에 달성할 수 있음을 보여준다. Lite Any Stereo V2는 실제 배포 환경에서의 지연 시간을 고려한 2D-only cost aggregation 구조를 도입하여, 이론적 MACs 최소화에만 의존하는 기존 방식과 구별된다. 또한, 합성 데이터와 실제 데이터 간의 전이를 안정화하기 위해 의사 라벨 필터링과 오류 클램프 연산을 활용한 훈련 전략이 핵심적이다.

기술적 접근법

**모델 아키텍처**: 2D-only cost aggregation 프레임워크를 사용.
**훈련 전략**: 3단계 훈련(합성 감독 → 자기-디스틸레이션 → 실제 지식 디스틸레이션).
**데이터**: 합성 데이터와 실제 데이터를 결합한 훈련.
**추가 기법**: 의사 라벨 필터링, 오류 클램프 연산.
**모델 변형**: 피드포워드 및 반복형 모델 포함.

주요 결과

**Fast-FoundationStereo 대비**: LAS2-H는 H200에서 1.8x, Orin에서 2.7x 빠른 추론 속도를 기록함.
**제로샷 성능**: 효율적인 스테레오 방법 중 최고 수준의 정확도를 달성함.
**모델 패밀리**: 다양한 효율성 예산에 맞춘 모델 제공.

의의 및 한계

Lite Any Stereo V2는 자원 제약이 있는 장치에서도 빠르고 정확한 스테레오 매칭을 가능하게 하며, 제로샷 환경에서도 뛰어난 성능을 보여 학술적 및 실용적 가치가 크다. 그러나 학습에 사용된 합성 데이터와 실제 데이터 간의 차이가 여전히 존재하며, 이는 일부 실제 환경에서의 성능에 영향을 줄 수 있다. 또한, 반복형 모델과 비교했을 때 정확도 한계가 있을 수 있다.

실용적 활용

Lite Any Stereo V2는 자율주행, 드론, 모바일 장치 등 실시간 스테레오 매칭이 필요한 산업에 적용 가능하다. 특히, 고성능 GPU가 아닌 저전력 하드웨어에서도 사용할 수 있어 IoT 및 모바일 영상 처리 분야에서 유용하다.