Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval

Multi-vector vision-language retrieval preserves fine-grained visual evidence through maximum-similarity late interaction, but dense image-side tokens make storage and scoring expensive. Existing token compression methods reduce this cost, yet they can remove or collapse object- and region-level evidence that future query tokens may need to select. We propose SaMer, an object-aware token merging framework that compresses image-side post-projector tokens into K representative centroids while preserving the original late-interaction interface. SaMer uses object annotations only during training as a merge prior to discourage cross-instance mixing, requires no ground-truth bounding boxes or detectors at inference time, and adapts only the shared projection layer with frozen vision and language backbones. With K=64, SaMer removes more than 93% of image-side tokens and reduces ColPali storage by 16.09times, while improving R@1 on Flickr30K and MSCOCO. These gains arise because object-aware merging preserves query-selectable object evidence that pruning or feature-only pooling can remove or collapse. SaMer also outperforms compression baselines and shows stronger phrase-level grounding, suggesting that efficient multi-vector retrieval depends not only on reducing token count, but on preserving the evidence future query tokens need to select.

한 줄 요약

SaMer는 이미지-언어 검색에서 객체 관련 정보를 보존하면서 토큰 수를 93% 이상 줄이는 객체 인식형 토큰 병합 프레임워크이다.

핵심 기여도

**K=64**로 이미지 측 토큰 수를 93% 이상 제거하고, **ColPali 저장 공간을 16.09× 감소**시킴.
**Flickr30K에서 R@1 77.0 → 82.4**, **MSCOCO에서 47.4 → 51.6** 개선.
**H-Pool, SAP, HPC** 등 기존 압축 기법을 초과하는 성능 보임.
**객체 어노테이션은 학습 시만 사용**, 추론 시에는 **bbox나 객체 감지기 필요 없음**.

핵심 아이디어

기존 토큰 압축 방식은 객체 수준의 정보를 제거하거나 병합하여, 향후 쿼리 토큰이 선택할 수 있는 증거를 손상시킬 수 있다. 이에 반해, SaMer는 **객체 인식형 병합**(object-aware merging)을 통해 객체 및 지역 수준의 시각적 증거를 보존한다. 학습 시, 객체 어노테이션을 병합 가이드라인으로 사용하여 **cross-instance 병합을 억제**하고, 추론 시에는 어노테이션이 필요 없이 **feature-spatial soft assignment**를 통해 병합을 수행한다. 이는 **MaxSim 검색 인터페이스를 유지하면서도 토큰 수를 줄이는 동시에 객체 정보를 보존**하는 핵심 아이디어이다.

기술적 접근법

**Feature-spatial soft assignment**를 사용하여 post-projector 토큰을 K개의 대표 토큰으로 병합.
학습 시, 객체 어노테이션을 병합 prior로 사용하여 **cross-instance 병합을 제한**.
**Projection-only adaptation**을 통해 vision encoder와 language backbone은 고정, shared projection layer만 학습.
**K=64**로 설정하여, ColPali 기반 시스템에서 **93% 이상의 토큰 제거** 및 **16.09× 저장 공간 절감**.
**MaxSim scoring 인터페이스 유지**를 통해 기존 multi-vector retriever와 호환.

주요 결과

**Flickr30K**: R@1 77.0 → 82.4 (ColPali 기준), 73.6 → 79.3 (ColQwen2 기준).
**MSCOCO**: R@1 47.4 → 51.6 (ColPali 기준), H-Pool (73.7), SAP, HPC 등 기존 압축 기법을 상회.
**ImageCoDe**: R@1 5.4 → 5.9, nDCG@10 13.2 → 14.4.
**DocVQA**: 텍스트 기반 증거를 제거하는 경향이 있어 성능 개선은 제한적이지만, 기존 압축 기법과 유사한 수준 유지.

의의 및 한계

SaMer는 객체 수준의 시각적 증거를 보존하면서 토큰 수를 줄이는 데 성공하여, **효율적인 multi-vector 검색의 새로운 기준**을 제시한다. 기존 압축 기법과 달리, **객체 인식형 병합**을 통해 토큰 수를 줄이는 것 이상으로, **쿼리 토큰이 선택할 수 있는 증거를 보존**하는 것이 중요하다는 점을 입증한다. 그러나 **문서 이미지**(DocVQA)와 같은 텍스트 중심의 상황에서는 객체 기반 압축이 효과적이지 않아, **문서 처리에 최적화된 별도의 접근법이 필요**하다는 한계가 있다.

실용적 활용

SaMer는 **이미지-언어 검색**, **대규모 이미지 저장 및 검색**, **VQA**(Visual Question Answering) 등에서 **토큰 수를 줄이면서도 객체 정보를 보존**해야 하는 상황에 적용 가능하다. 특히, **ColPali, ColQwen2**와 같은 기존 multi-vector retriever와 호환되어, **대규모 이미지 저장소의 효율성 향상**에 기여할 수 있다.