Efficient LoFTR: Semi-Dense Local Feature Matching with Sparse-Like Speed

We present a novel method for efficiently producing semi-dense matches across images. Previous detector-free matcher LoFTR has shown remarkable matching capability in handling large-viewpoint change and texture-poor scenarios but suffers from low efficiency. We revisit its design choices and derive multiple improvements for both efficiency and accuracy. One key observation is that performing the transformer over the entire feature map is redundant due to shared local information, therefore we propose an aggregated attention mechanism with adaptive token selection for efficiency. Furthermore, we find spatial variance exists in LoFTR's fine correlation module, which is adverse to matching accuracy. A novel two-stage correlation layer is proposed to achieve accurate subpixel correspon-dences for accuracy improvement. Our efficiency optimized model is ~ 2.5 x faster than LoFTR which can even surpass state-of-the-art efficient sparse matching pipeline Super-Point + LightGlue. Moreover, extensive experiments show that our method can achieve higher accuracy compared with competitive semi-dense matchers, with considerable efficiency benefits. This opens up exciting prospects for large-scale or latency-sensitive applications such as image retrieval and 3D reconstruction. Project page: https://zju3dv.github.io/efficientloftr/.

한 줄 요약

Efficient LoFTR는 LoFTR의 효율성 문제를 해결하며, 2.5배 빠른 속도로 준밀도 매칭 성능을 향상시킨다.

핵심 기여도

Aggregated Attention 모듈을 도입하여 전체 피처 맵에서 Transformer 수행을 줄여 2.5× 가속.
Two-Stage Correlation Layer를 통해 LoFTR의 공간 분산 문제를 해결, 서브픽셀 정밀도 향상.
Semi-dense 매칭에서 SuperPoint + LightGlue와 유사한 효율성, LoFTR 대비 더 높은 정확도 달성.
대규모 또는 지연 민감한 응용(예: 이미지 검색, 3D 재구성)에 적합한 성능 제공.

핵심 아이디어

LoFTR는 준밀도 매칭 성능이 우수하지만, 전체 피처 맵에서 Transformer를 수행하는 방식이 계산적으로 비효율적이라는 점을 지적한다. 이에 따라, **Aggregated Attention** 모듈을 도입하여 **로컬 정보가 중복되는 토큰을 적응적으로 선택**함으로써, Transformer 연산을 줄이고 효율성을 향상시켰다. 또한, LoFTR의 **fine correlation 단계에서 발생하는 공간 분산 문제**를 해결하기 위해, **Two-Stage Correlation Layer**를 제안하여, **첫 번째 단계에서 정확한 픽셀 수준 매칭을 수행**하고, **두 번째 단계에서 로컬 패치 내에서 서브픽셀 정밀도를 개선**하도록 설계했다. 이는 LoFTR의 기존 방식보다 정확도를 높이면서도 지연을 거의 증가시키지 않는다.

기술적 접근법

**Coarse-to-Fine 매칭 파이프라인**: 다운샘플링된 피처 맵에서 초기 매칭을 수행한 후, 고해상도 피처에서 정밀도를 개선.
**Aggregated Attention 모듈**: 전체 피처 맵 대신 적응적으로 선택된 토큰만을 사용해 Transformer 수행, 계산량 감소.
**Two-Stage Correlation Layer**:

1. Fine 피처 패치에서 **Mutual-Nearest-Neighbor 기반 매칭**으로 픽셀 수준 정확도 확보.
2. **로컬 패치 내에서 상관관계와 기대치 계산**으로 서브픽셀 정밀도 향상.

**VGG 기반 백본**: ResNet 대비 효율성 향상, Ablation Study에서 확인됨.
**RoPE (Rotary Positional Embedding)** 사용: LoFTR과 동일한 조건에서 공정한 비교 가능.

주요 결과

**LoFTR 대비 2.5× 빠른 속도** 달성.
**SuperPoint + LightGlue**와 유사한 효율성, LoFTR 대비 **정확도 향상**.
**Homography Estimation, Relative Pose Recovery, Visual Localization** 등 다중 작업에서 **LoFTR 대비 +1.6~2.3% 정확도 향상**.
**AUC@5° 지표**에서 두 번째 단계 제거 시 **정확도 하락** 관찰됨.
**Aggregated Attention 모듈** 제거 시 **정확도 감소 및 효율성 저하** 발생.

의의 및 한계

Efficient LoFTR는 LoFTR의 성능을 유지하면서도 **2.5배 빠른 속도**를 제공하여, **대규모 이미지 검색 및 3D 재구성**과 같은 지연 민감한 응용에 적합하다. 특히, **Aggregated Attention과 Two-Stage Correlation Layer**는 기존 디텍터 없는 매칭 방식의 효율성 한계를 극복하는 중요한 기술적 기여다. 다만, **Ablation Study에서 백본 변경 시 정확도 유지**라는 점에서, **모델 구조의 유연성**이 한계로 작용할 수 있다. 또한, **SuperPoint + LightGlue와의 비교에서 정확도 우위**는 유지되지만, **밀도 매칭과 희소 매칭 간의 균형**은 추가 연구가 필요하다.

실용적 활용

Efficient LoFTR는 **실시간 이미지 검색, SLAM, 3D 재구성** 등 지연에 민감한 시스템에 적용 가능하다. 특히, **LoFTR의 정확도를 유지하면서도 효율성을 대폭 개선**했기 때문에, **로봇 비전, 드론 네비게이션, 증강현실** 등에서 실용적 활용이 기대된다.