Generative Late-Interaction Embeddings For Visual Document Retrieval

Late-interaction retrieval is the state-of-the-art for visual document search, but it pays for its accuracy in storage. Existing compression methods retain a subset or local average of the N~1,000 vectors per page. Under aggressive storage budgets, however, these methods degrade sharply, and alternatives require retraining the encoder. Investigating this degradation across three encoders, we found two consistent properties: the vectors lie exactly on the unit sphere and concentrate near a manifold of intrinsic dimension five to six. This geometry yields two insights. First, standard k-means centroids fall inside the sphere, causing systematic underestimation of MaxSim scores. Normalizing them to the surface is a free correction worth up to +0.093 nDCG@5 over raw centroids. Second, because the page manifold has few degrees of freedom, the full set of vectors can be regenerated from only a few. To this end, we introduce Generative Late-Interaction Embeddings (GLIE): k << N vectors per page learned from the normalized centroids to serve as both a lightweight index and a basis for regenerating the page's full embedding set. At query time, search runs exclusively on these k vectors, and a decoder expands only the top candidates back to all N vectors for exact rescoring. At four vectors per page on ViDoRe v1, GLIE retains nearly 80% of the uncompressed system's nDCG@5, against 70% for the best prior post-hoc method. These results use a 415K-parameter network fitted in under three GPU-minutes on just a thousand training pages. At a matched training budget, fine-tuning the encoder does not reach even the training-free stage of GLIE, and the full system beats it at every budget. These patterns hold across a second encoder and ViDoRe v2. By reconstructing evidence on demand rather than sampling it, GLIE opens a new axis for storage-efficient retrieval, with the decoder as its main design surface.

한 줄 요약

GLIE는 저장 공간 효율성을 유지하면서도 정확도를 보존하는 새로운 후처리 기반의 시각 문서 검색 방법이다.

핵심 기여도

문서 토큰 벡터가 단위 구면 상의 5~6차원 매니폴드에 집중한다는 기하학적 성질을 발견.
기존 k-means 중심점이 구면 내부에 위치하여 MaxSim 점수를 과소평가하는 문제를, 단위 구면으로 재정규화하여 +0.093 nDCG@5 개선.
GLIE를 통해 페이지당 k << N 벡터만 저장하고, 쿼리 시 상위 후보에 대해 디코더로 전체 벡터 재생성.
ViDoRe v1에서 4개 벡터당 80% nDCG@5 유지, 기존 최고 후처리 방법 대비 10% 개선.

핵심 아이디어

기존 시각 문서 검색에서 Late-Interaction 방식은 정확도를 높이지만, 페이지당 수천 개의 벡터 저장으로 인한 저장 공간 문제를 야기한다. 본 연구는 이러한 문제를 기하학적 관점에서 접근한다. ColPali, 두 다른 인코더를 통해 분석한 결과, 페이지당 1,000개의 벡터가 128차원 단위 구면 상의 5~6차원 매니폴드에 집중한다는 사실을 발견했다. 이는 페이지 정보가 사실상 낮은 차원의 구조를 가진다는 의미이다.

이를 바탕으로 GLIE는 기존 인코더를 수정하지 않고, k-means 중심점을 단위 구면으로 재정규화한 후, 이들을 기반으로 디코더를 통해 전체 벡터를 재생성하는 방식을 제안한다. 이는 기존 샘플링 기반 압축 방법과는 구조적으로 다른 접근이며, 저장 공간을 줄이면서도 정확도를 유지할 수 있는 새로운 축을 제시한다.

기술적 접근법

**GLIE (Generative Late-Interaction Embeddings)**: 페이지당 k << N 벡터를 저장하고, 쿼리 시 상위 후보에 대해 디코더로 전체 벡터 재생성.
**Spherical Anchoring**: k-means 중심점을 단위 구면으로 재정규화하여 MaxSim 점수 과소평가 문제 해결.
**Decoder**: 415K 파라미터, 1,000개 훈련 페이지로 3 GPU-분 미만에 학습.
**MaxSim**: 쿼리 토큰과 페이지 벡터 간 최대 내적 합을 기반으로 점수 계산.
**ViDoRe v1, v2**: 실험 대상 데이터셋.

주요 결과

ViDoRe v1에서 GLIE는 4개 벡터당 80% nDCG@5 유지 (기존 최고 후처리 방법 대비 +10%).
415K 파라미터 디코더로 3 GPU-분 미만에 학습.
Spherical anchoring은 k=4에서 +0.093 nDCG@5 개선.
k=4에서 디코더가 +0.016 nDCG@5 추가 개선.
ViDoRe v2에서도 동일한 패턴 유지.

의의 및 한계

GLIE는 기존 샘플링 기반 압축 방법과는 달리, 저장된 벡터를 기반으로 전체 정보를 재생성하는 새로운 접근법을 제시한다. 이는 저장 공간을 줄이면서도 정확도를 유지할 수 있는 새로운 축을 열어준다. 특히, 디코더 개선을 통해 더 높은 정확도를 달성할 수 있는 잠재력이 있다.

한편, GLIE는 기존 인코더를 수정하지 않기 때문에, 인코더 자체의 성능 한계는 그대로 남는다. 또한, 디코더가 재생성한 벡터가 실제 토큰 벡터와 완전히 일치하지 않기 때문에, 정확도는 여전히 원본 시스템보다 낮다.

실용적 활용

GLIE는 대규모 시각 문서 검색 시스템에서 저장 공간을 줄이면서도 검색 정확도를 유지해야 하는 상황에 적합하다. 특히, 인코더 재학습 없이 기존 시스템에 바로 적용 가능한 후처리 기법으로, 클라우드 기반 검색 서비스나 모바일 환경에서 유용하게 활용될 수 있다.