ColPali: Efficient Document Retrieval with Vision Language Models

Documents are visually rich structures that convey information through text, but also figures, page layouts, tables, or even fonts. Since modern retrieval systems mainly rely on the textual information they extract from document pages to index documents -often through lengthy and brittle processes-, they struggle to exploit key visual cues efficiently. This limits their capabilities in many practical document retrieval applications such as Retrieval Augmented Generation (RAG). To benchmark current systems on visually rich document retrieval, we introduce the Visual Document Retrieval Benchmark ViDoRe, composed of various page-level retrieval tasks spanning multiple domains, languages, and practical settings. The inherent complexity and performance shortcomings of modern systems motivate a new concept; doing document retrieval by directly embedding the images of the document pages. We release ColPali, a Vision Language Model trained to produce high-quality multi-vector embeddings from images of document pages. Combined with a late interaction matching mechanism, ColPali largely outperforms modern document retrieval pipelines while being drastically simpler, faster and end-to-end trainable. We release models, data, code and benchmarks under open licenses at https://hf.co/vidore.

한 줄 요약

ColPali는 문서 페이지 이미지를 직접 임베딩하여 효율적인 문서 검색을 수행하는 VLM 기반 모델로, ViDoRe 벤치마크에서 기존 파이프라인을 크게 앞선다.

핵심 기여도

ViDoRe: 다양한 도메인, 언어, 시나리오를 아우르는 문서 페이지 수준 검색 벤치마크를 제안.
ColPali: 문서 페이지 이미지를 기반으로 멀티벡터 임베딩을 생성하는 VLM 모델로, late interaction 매칭 기법과 결합하여 기존 파이프라인 대비 24.8 nDCG@5 성능 저하를 보이는 512 패치 모델을 포함한 여러 대안을 초과.
공개 자료: 모델, 데이터, 코드, 벤치마크를 오픈 라이선스로 공개 (https://hf.co/vidore).

핵심 아이디어

기존 문서 검색 시스템은 텍스트 정보만을 기반으로 하며, OCR, 레이아웃 분석, 청크화 등 복잡한 전처리 과정을 필요로 한다. 이는 시각적 요소(그림, 표, 폰트 등)를 효과적으로 활용하지 못하여, 특히 RAG와 같은 실용적 검색 시스템에서 한계를 드러낸다. ColPali는 이러한 문제를 해결하기 위해 문서 페이지 이미지를 직접 임베딩하여, 텍스트 추출 없이도 문서를 인덱싱하고 검색하는 새로운 개념을 제시한다. 이는 Vision Language Model(Paligemma-3B 기반)를 활용하여, 문서 페이지를 ColBERT 스타일의 멀티벡터로 표현하고, late interaction 매칭 기법을 통해 쿼리와 문서 간 유사도를 계산한다.

기술적 접근법

**모델 아키텍처**: Paligemma-3B를 확장한 ColPali는 문서 페이지 이미지를 입력받아, 텍스트 및 이미지 토큰을 128차원 벡터로 매핑하는 projection layer를 추가한 VLM.
**Late Interaction 매칭**: 쿼리와 문서의 멀티벡터 표현(𝐄q ∈ ℝNq × D, 𝐄d ∈ ℝNd × D)을 기반으로, 쿼리 벡터와 문서 벡터 간 최대 내적을 계산한 후 합산하여 유사도를 산출.
**학습 전략**: in-batch contrastive loss를 사용하며, softplus 함수를 활용한 수치적으로 안정적인 손실 함수를 도입.
**하이퍼파라미터**: 1 에포크, 5e-5 학습률, 32 배치 크기, bfloat16 형식, LoRA(α=32, r=32)를 사용한 저랭크 어댑터.

주요 결과

ViDoRe 벤치마크에서 ColPali는 512 패치 모델 대비 24.8 nDCG@5 성능 저하를 보이는 반면, 1024 패치 모델은 기존 파이프라인을 크게 앞선다.
Idefics2-8B 기반 ColIdefics2(64 패치)는 ColPali(512 패치) 대비 +20.1 nDCG@5 성능 향상, 하지만 ColPali(1024)보다 -4.7 nDCG@5 낮아 성능-속도-메모리 사이의 트레이드오프가 명확.
Qwen2-VL 2B 기반 ColQwen2-VL은 ColPali 대비 +5.3 nDCG@5 성능 향상.
French 데이터셋에서 쿼리 확장 토큰을 사용하지 않으면 +9.8 nDCG@G, +6.3 nDCG@5 향상.
DocMatix 데이터셋 기반 학습 시 ViDoRe에서 -2.2 nDCG@5 성능 저하에도 불구하고 기존 베이스라인(BGE-M3)을 12점 이상 앞선다.

의의 및 한계

ColPali는 텍스트 추출 없이 문서 페이지 이미지를 직접 임베딩하여, 기존 복잡한 전처리 파이프라인을 생략함으로써 단순성과 속도를 동시에 달성한다. 특히, end-to-end 학습이 가능해져 특정 도메인, 언어, 시각적 요소에 대한 미세 조정이 용이하다는 점에서 실용적 가치가 크다. 그러나, 이미지 패치 수가 많을수록 메모리 사용량과 추론 시간이 증가하는 한계가 있으며, 텍스트 중심 데이터가 부족한 언어에서는 성능 저하가 발생할 수 있다. 또한, 훈련 데이터와 벤치마크가 일부 겹치는 경우가 있어 완전한 zero-shot 성능 평가에는 한계가 있다.

실용적 활용

ColPali는 문서 검색, RAG, 법률/의료 문서 분석 등 시각적 요소가 중요한 산업 분야에서 활용 가능하다. 특히, OCR 또는 레이아웃 분석 없이도 문서를 바로 검색할 수 있어, 문서 처리 속도와 정확도를 동시에 향상시킬 수 있다. 또한, 다양한 언어와 도메인으로 확장 가능한 구조를 갖추고 있어, 글로벌 기업의 검색 시스템 개선에 기여할 수 있다.