Visual Place Recognition (VPR) localizes a query image by retrieving database images of the same or nearby place, yet its robustness is often degraded by domain shifts arising from illumination, weather, seasonal changes, and dynamic occlusions. One contributing factor is the limited appearance diversity of the same place in existing training data. To address this issue, we propose AdaptVPR, a route-aware generative augmentation framework that constructs same-place hard positives for robust VPR training. AdaptVPR first uses a vision language model to parse scene attributes and estimate editing feasibility, while a rule-based scheduler determines the generation route according to editability scores and risk constraints. The generation process is decomposed into three complementary routes: the Global Appearance Route introduces global scene changes in weather, illumination, and time of day; the Local Occlusion Route inserts plausible dynamic occluders; and the Dual Route combines both types of perturbations to produce more challenging appearance shifts. Each generated candidate is evaluated using a VPR-oriented verification scheme based on geometric consistency and appearance diversity, reducing the risk of structural drift while ensuring sufficient appearance variation. Global candidates are generated once and rejected if verification fails, while Local Occlusion and Dual candidates use verification feedback for limited prompt refinement and regeneration. Using this framework, we construct AdaptCities, containing 160K verified synthetic same-place hard positives. Experiments across multiple VPR baselines and vision foundation backbones show consistent gains on standard benchmarks and substantial improvements under challenging domain shifts, with R@1 gains of up to 9.2%. The source code and data resources are publicly available at https://github.com/chenshunpeng/AdaptVPR.
한 줄 요약
AdaptVPR은 도메인 변화에 강한 VPR 학습을 위해 경로 기반 생성 증강 프레임워크를 제안하며, AdaptCities 데이터셋을 통해 R@1 최대 9.2% 개선을 달성한다.
핵심 기여도
- **AdaptVPR**이라는 경로 인식 생성 증강 프레임워크를 제안.
- **Global Appearance Route**, **Local Occlusion Route**, **Dual Route** 세 가지 경로로 구성된 생성 프로세스.
- **AdaptCities** 데이터셋 생성: 160K 개의 검증된 동일 장소 하드 포지티브.
- 기존 VPR 베이스라인에서 R@1 최대 9.2% 개선.
핵심 아이디어
기존 VPR 학습 데이터는 동일 장소의 외관 다양성이 제한되어 도메인 변화에 취약하다. AdaptVPR은 이 문제를 해결하기 위해 **시각-언어 모델**을 사용해 장면 속성과 편집 가능성(Editing Feasibility)을 파싱하고, **Rule-based Scheduler**를 통해 편집 가능성 점수와 위험 제약을 고려해 생성 경로를 결정한다.
이를 통해 생성된 이미지는 **Global Appearance Route**에서 날씨, 조명, 시간대 변화를, **Local Occlusion Route**에서 동적 가려움을, **Dual Route**에서 두 가지 변화를 결합해 더 어려운 외관 변화를 유도한다. 생성된 후보는 **VPR-기반 검증 시스템**을 통해 기하 일관성과 외관 다양성을 평가받아 구조적 드리프트를 방지하고 충분한 변화를 보장한다.
기술적 접근법
- **Vision Language Model**을 사용한 장면 속성 파싱 및 편집 가능성 추정.
- **Rule-based Scheduler**를 통해 생성 경로 결정 (Global, Local, Dual).
- **Global Appearance Route**: 날씨, 조명, 시간대 변화를 반영한 전역 외관 편집.
- **Local Occlusion Route**: 동적 가려움 삽입.
- **Dual Route**: 전역 + 로컬 편집을 결합한 더 복잡한 변화 생성.
- 생성 후보는 **VPR-기반 검증 시스템**을 통해 기하 일관성과 외관 다양성 검증.
- Global 후보는 1회 생성 후 검증 실패 시 거부, Local 및 Dual 후보는 피드백 기반으로 제한된 프롬프트 조정 후 재생성.
주요 결과
- **AdaptCities** 데이터셋: 160K 개의 동일 장소 하드 포지티브 생성.
- 다양한 VPR 베이스라인과 시각 기초 모델에서 **R@1 최대 9.2% 개선**.
- 도메인 변화가 심한 환경에서도 **상당한 성능 향상** (명시되지 않음).
의의 및 한계
AdaptVPR은 VPR의 도메인 변화에 대한 강건성을 향상시키는 데 기여하며, 생성 증강을 통해 학습 데이터의 외관 다양성을 확장하는 새로운 접근법을 제시한다. 특히, **VPR-기반 검증 시스템**은 생성된 이미지의 실제 유용성을 평가하는 데 중요한 역할을 한다.
하지만, 생성된 이미지의 **구조적 일관성**을 완전히 보장하기는 어렵고, 생성 과정에서 **시간 및 계산 비용**이 증가할 수 있다. 또한, 특정 도메인 변화에 대한 실험 결과는 **명시되지 않음**.
실용적 활용
AdaptVPR은 자율 주행, 드론 네비게이션, 실내 로봇 탐색 등에서 **도메인 변화에 강한 VPR 시스템** 구축에 활용될 수 있다. 특히, **실제 환경에서 조명, 날씨, 가려움이 자주 발생하는 상황**에서 유용하며, 생성된 AdaptCities 데이터셋은 다양한 VPR 연구에 활용 가능한 자산이다.