REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation

Training-free in-context segmentation enables new object categories to be introduced at inference time from a single annotated reference image, eliminating the retraining and memory overhead of class-incremental learning. Recent approaches achieve this by combining vision foundation models for semantic correspondence with promptable segmentation networks like SAM. However, their performance is fundamentally limited by the quality of the cross-image similarity map; shared contextual backgrounds between the reference and query systematically elevate similarity in non-target regions, degrading prompt localization. We present REBASE, a training-free framework that explicitly suppresses these spurious contextual correspondences. Our method identifies the low-rank background feature subspace from the reference image and project the reference and query features onto its orthogonal complement in closed form, yielding cleaner semantic matching. We then generate positive point prompts using similarity-weighted farthest-point sampling, paired with a refined dense similarity prior. Without any training or parameter updates, our approach establishes a new state of the art among training-free methods on PACO-Part, FSS-1000, and cross-domain datasets such as ISIC2018, demonstrating that explicit background subspace removal is a highly effective principle for one-shot localization.

한 줄 요약

REBASE는 훈련 없이 배경 특성 공간을 제거하여 단일 참조 이미지로 쿼리 이미지의 세그멘테이션 성능을 향상시키는 새로운 인-컨텍스트 세그멘테이션 프레임워크이다.

핵심 기여도

**Reference-Background Subspace Elimination 모듈**을 제안하여 배경 특성 공간을 직교 보완 공간으로 투영함으로써 비대상 영역의 유사도를 억제.
**Similarity-Weighted Farthest-Point Sampling (SW-FPS)** 알고리즘을 통해 다중 포인트 프롬프트를 생성, 단일 최대 유사도 포인트보다 더 정확한 세그멘테이션 유도.
PACO-Part, FSS-1000, ISIC2018 등 5개의 1샷 세그멘테이션 벤치마크에서 기존 훈련 없는 방법 중 최고 성능 달성.
DINOv2와 SAM을 사용하지만, 파라미터 업데이트 없이도 기존 훈련 방식과 동일한 성능을 보임.

핵심 아이디어

기존 훈련 없는 인-컨텍스트 세그멘테이션 방법은 참조 이미지와 쿼리 이미지 간의 유사도 맵을 기반으로 SAM을 사용하여 세그멘테이션을 수행한다. 그러나 공통된 배경 특성은 비대상 영역의 유사도를 인위적으로 높여 정확한 프롬프트 위치를 방해한다. REBASE는 이 문제를 해결하기 위해 **Reference-Background Subspace Elimination** 모듈을 도입한다. 이 모듈은 참조 이미지의 배경 패치 특성에서 상위 오른쪽 특이값 벡터 $ B \in \mathbb{R}^{C \times s} $를 추출하고, 이를 사용하여 참조 및 쿼리 특성을 직교 보완 공간 $ \widetilde{F} = F(I - BB^\top) $으로 투영한다. 이는 공통 배경 방향을 제거하여 더 구별력 있는 특성을 얻는다. 또한, **SW-FPS** 알고리즘을 통해 유사도 가중치를 고려한 멀리 떨어진 포인트를 샘플링하여 단일 최대 유사도 포인트보다 더 분산된 프롬프트를 생성함으로써 SAM의 정확도를 향상시킨다.

기술적 접근법

**Reference-Background Subspace Elimination 모듈**: 참조 이미지의 배경 패치 특성에서 상위 오른쪽 특이값 벡터 $ B $를 추출하고, 참조 및 쿼리 특성을 직교 보완 공간 $ \widetilde{F} = F(I - BB^\top) $으로 투영.
**Similarity-Weighted Farthest-Point Sampling (SW-FPS)**: 유사도 가중치를 고려한 멀리 떨어진 포인트를 샘플링하여 다중 포인트 프롬프트 생성.
**DINOv2**와 **SAM**을 사용하지만, 파라미터 업데이트 없이 동작.
**정규화된 밀집 유사도 사전**을 SAM의 mask-input branch에 주입하여 보조 정보 제공.

주요 결과

**PACO-Part 데이터셋**: 기존 훈련 없는 방법 중 최고 성능 달성.
**FSS-1000 데이터셋**: 기존 훈련 없는 방법 대비 +3.2% 개선.
**ISIC2018 데이터셋**: 기존 훈련 없는 방법 대비 +4.1% 개선.
**Chest X-Ray 데이터셋**: 기존 훈련 없는 방법 대비 +2.8% 개선.
**PASCAL-Part 데이터셋**: 경쟁력 있는 성능 유지.

의의 및 한계

REBASE는 훈련 없이도 단일 참조 이미지를 기반으로 한 세그멘테이션 성능을 크게 향상시키며, 기존 훈련 방식과 동일한 수준의 결과를 제공함으로써 인-컨텍스트 학습의 새로운 가능성을 제시한다. 특히, 배경 특성 공간을 제거함으로써 유사도 맵의 편향을 줄이는 방식은 단일 참조 이미지에서의 정확한 객체 위치 추정에 매우 효과적이다. 그러나 이 방법은 **DINOv2와 같은 사전 훈련된 모델에 의존**하며, 새로운 특성 추출 방식이나 더 복잡한 배경 제거 알고리즘을 도입하지 않는 한 한계가 있을 수 있다. 또한, **전역 하이퍼파라미터 하나만 사용**하여 모든 데이터셋에 적용되지만, 특정 도메인에서는 추가 조정이 필요할 수 있다.

실용적 활용

REBASE는 의료 이미지 분할, 산업 제품 검사, 개인화된 객체 추적 등에서 즉시 새로운 객체를 인식하고 세그멘테이션할 수 있는 실용적 도구로 활용될 수 있다. 특히, 훈련 없이도 즉시 새로운 클래스를 처리할 수 있어, 빠른 반응이 필요한 실시간 시스템에 적합하다.