Selective-Stereo: Adaptive Frequency Information Selection for Stereo Matching

Stereo matching methods based on iterative optimization, like RAFT-Stereo and IGEV-Stereo, have evolved into a cornerstone in the field of stereo matching. However, these methods struggle to simultaneously capture high-frequency information in edges and low-frequency information in smooth regions due to the fixed receptive field. As a result, they tend to lose details, blur edges, and produce false matches in textureless areas. In this paper, we propose Selective Recurrent Unit (SRU), a novel iterative update operator for stereo matching. The SRU module can adaptively fuse hidden disparity information at multiple frequencies for edge and smooth regions. To perform adaptive fusion, we introduce a new Contextual Spatial Attention (CSA) module to generate attention maps as fusion weights. The SRU empowers the network to aggregate hidden disparity information across multiple frequencies, mitigating the risk of vital hidden disparity information loss during iterative processes. To verify SRU’s universality, we apply it to representative iterative stereo matching methods, collectively referred to as Selective-Stereo. Our Selective-Stereo ranks 1st on KITTI 2012, KITTI 2015, ETH3D, and Middle- bury leaderboards among all published methods. Code is available at https://github.com/Windsrain/Selective-Stereo.

한 줄 요약

Selective-Stereo는 주파수별 정보 선택을 통해 스테레오 매칭 성능을 향상시키는 새로운 반복 업데이트 모듈 SRU와 CSA를 제안한 연구입니다.

핵심 기여도

SRU 모듈을 통해 고주파(엣지)와 저주파(평활 영역) 정보를 적응적으로 융합.
CSA 모듈을 도입하여 주파수별 정보의 가중치를 주변 맥락에 따라 조절.
RAFT-Stereo, IGEV-Stereo 등 기존 반복 스테레오 매칭 방법에 적용하여 KITTI 2012, 2015, ETH3D, Middlebury 등 리더보드 1위 달성.
SRU 적용 시 파라미터 증가율 4%에 불과하며, 반복 수를 8회로 줄여도 동일 성능 유지.

핵심 아이디어

기존 반복 스테레오 매칭 방법은 고정된 수용 필드로 인해 엣지와 평활 영역의 정보를 동시에 포착하지 못해 세부 정보 손실, 엣지 흐림, 텍스처 없는 영역의 오매칭이 발생했습니다. 이를 해결하기 위해 SRU 모듈을 제안하여, GRU 브랜치를 다중 커널 크기로 구성하고, 각 브랜치에서 다른 수용 필드의 정보를 추출한 후 CSA 모듈을 통해 주변 맥락에 따라 가중치를 조절하여 융합합니다. 이는 고주파 정보(엣지)와 저주파 정보(평활 영역)를 적응적으로 선택할 수 있게 합니다. 특히, CSA는 주파수별 정보의 중요도를 지역 맥락에 따라 조절하여, 엣지 영역에서는 작은 커널 정보가, 텍스처 없는 영역에서는 큰 커널 정보가 더 높은 가중치를 받습니다.

기술적 접근법

**SRU 모듈**: 다중 GRU 브랜치(다양한 커널 크기)로 구성. 각 브랜치는 다른 수용 필드의 정보를 추출.
**CSA 모듈**: 주변 맥락 정보를 기반으로 주파수별 정보의 가중치를 생성.
**커널 크기**: 기본 설정은 1×1과 3×3 커널.
**반복 수**: 8회 반복으로도 기존 32회 반복과 동일한 성능 달성.
**적용 대상**: RAFT-Stereo, IGEV-Stereo, DLNR 등 다양한 반복 스테레오 매칭 방법에 적용 가능.
**파라미터 증가율**: SRU 적용 시 4% 증가에 그침.

주요 결과

**KITTI 2012**: Selective-RAFT는 RAFT-Stereo 대비 약 20% 개선.
**KITTI 2015, ETH3D, Middlebury**: Selective-Stereo는 리더보드 1위 달성.
**Scene Flow**: Selective-RAFT는 EPE 0.47, Selective-IGEV는 EPE 0.44 달성 (기존 최고 성능).
**반복 수**: 8회 반복으로 기존 32회 반복과 동일한 성능 유지.
**파라미터 증가율**: SRU 적용 시 4% 증가.

의의 및 한계

Selective-Stereo는 반복 스테레오 매칭에서 주파수별 정보를 적응적으로 융합함으로써 엣지와 평활 영역의 정보를 동시에 포착할 수 있는 새로운 접근법을 제시합니다. 특히, CSA 모듈을 통해 지역 맥락에 따라 정보 가중치를 조절함으로써 기존 반복 모듈의 고정 수용 필드 한계를 극복했습니다. 그러나 SRU의 수용 필드는 여전히 사전 정의된 값에 제한되며, 커널 수나 크기 증가 시 메모리와 시간 비용이 증가하는 문제가 있습니다. 또한, 경량화된 컨볼루션과의 결합 가능성도 추가 연구 주제로 제시됩니다.

실용적 활용

Selective-Stereo는 자율주행, 3D 재구성, 로봇 비전 등 고해상도 스테레오 이미지 처리가 필요한 산업에 적용 가능합니다. 특히, 반복 스테레오 매칭 기반의 알고리즘을 사용하는 연구 및 개발 현장에서 성능 향상과 동시에 반복 수 감소로 인한 계산 효율성 향상도 기대할 수 있습니다.