KaLM-Reranker-V1: Fast but Not Late Interaction for Compressed Document Reranking

As retrieval systems scale, high-quality reranking becomes increasingly important. However, most existing rerankers, whether encoder-based or decoder-based, jointly encode the query and passage, tightly coupling their computation and limiting deployment efficiency as well as flexibility. We present KaLM-Reranker-V1, a fast but not late-interaction (FBNL) reranker that decouples query and passage computation while retaining expressive relevance modeling. Built on an encoder-decoder architecture, KaLM-Reranker-V1 uses the encoder to pre-encode passages with Matryoshka embedding pooling, while the decoder models the system instruction, user instruction, and query intent; cross-attention then captures relevance between the query context and passage representations. This design makes KaLM-Reranker-V1 efficient through decoupled passage encoding, yet not late interaction, by preserving rich relevance modeling through cross-attention. We instantiate KaLM-Reranker-V1 in three sizes, Nano, Small, and Large, with 0.27B, 1B, and 4B activated parameters, respectively. Extensive experiments on BEIR, MIRACL, and LMEB demonstrate that KaLM-Reranker-V1 achieves strong reranking performance with superior efficiency. On BEIR, KaLM-Reranker-V1 achieves state-of-the-art performance, on par with strong industrial models such as the Qwen3-Reranker series; on MIRACL, despite not being extensively trained on multilingual data, KaLM-Reranker-V1 still shows excellent reranking performance. Moreover, on LMEB, reranking models demonstrate a clear advantage, with even the 0.27B Nano model remaining competitive with 7-12B embedding models.

한 줄 요약

KaLM-Reranker-V1은 효율적이고 표현력 있는 문서 재정렬 모델로, Matryoshka Embedding Pooling과 Fast but Not Late Interaction 설계를 통해 뛰어난 성능과 효율성을 달성한다.

핵심 기여도

Fast but Not Late Interaction(FBNL) 설계를 도입하여, 문서 인코딩과 쿼리-문서 상호작용을 분리하면서도 표현력을 유지.
Matryoshka Embedding Pooling(MEP)을 통해 문서 표현을 압축하면서도 재정렬 성능을 유지.
Nano(0.27B), Small(1B), Large(4B) 세 가지 크기의 모델을 제시, 다양한 성능-효율성 요구에 대응.
BEIR, MIRACL, LMEB 데이터셋에서 기존 모델 대비 뛰어난 성능과 10배 이상의 효율성 향상.

핵심 아이디어

기존 재정렬 모델은 쿼리와 문서를 함께 인코딩하여 계산을 강하게 결합함으로써, 효율성과 유연성을 제한한다. KaLM-Reranker-V1은 FBNL 설계를 통해 문서 인코딩을 사전에 수행하고, 쿼리-문서 상호작용은 디코더의 cross-attention을 통해 모델링함으로써, 문서 표현을 재사용하면서도 표현력 있는 상호작용을 유지한다. 이는 late interaction과 달리, 인코딩 후에도 상호작용을 가능하게 하며, Matryoshka Embedding Pooling(MEP)을 통해 문서 표현을 압축하면서도 성능 저하를 최소화한다. 이는 대규모 문서를 사전 인코딩하여 저장하고, 실시간 쿼리 처리 시 효율적으로 재정렬할 수 있는 기반을 제공한다.

기술적 접근법

**모델 아키텍처**: T5Gemma2 기반의 인코더-디코더 구조를 사용.
**인코더**: 문서를 Matryoshka Embedding Pooling(MEP)을 통해 압축된 표현으로 사전 인코딩.
**디코더**: 시스템 인스트럭션, 사용자 인스트럭션, 쿼리를 입력으로 받아, cross-attention을 통해 인코딩된 문서 표현과 상호작용.
**Matryoshka Embedding Pooling**: 문서 표현을 시퀀스 차원에서 압축하여 저장 및 서빙 비용을 줄임.
**모델 크기**: Nano(0.27B), Small(1B), Large(4B) 세 가지 버전 제공.
**하이퍼파라미터**: 각 모델의 활성화 파라미터 수, 문서 토큰 차원, 시퀀스 길이 등은 Table 1에 상세히 기술.

주요 결과

**BEIR 데이터셋**: KaLM-Reranker-V1-Nano가 gte-reranker-base보다 약 10배 효율성 향상.
**MIRACL 데이터셋**: KaLM-Reranker-V1-Large가 multilingual 데이터 학습 없이도 bge-reranker-v2-gemma를 2배 이상 효율적으로 초과.
**LMEB 데이터셋**: 0.27B Nano 모델이 7–12B 임베딩 모델과 경쟁력 있는 성능 보임.
**Matryoshka 압축**: 2x, 4x 압축 시 성능 저하 거의 없음. 32x 압축 시 성능 저하 발생, 특히 작은 모델에서 더 두드러짐.

의의 및 한계

KaLM-Reranker-V1은 문서 재정렬 분야에서 효율성과 표현력의 균형을 맞춘 중요한 기여를 한다. FBNL 설계와 MEP를 통해 문서를 사전 인코딩하고, 실시간 처리 시 재사용함으로써 대규모 시스템에서도 적용 가능하다. 특히, Nano 모델은 작은 파라미터 수로도 뛰어난 성능을 보여주며, 다양한 성능-효율성 요구에 대응할 수 있다. 그러나, MEP의 과도한 압축은 성능 저하를 초래할 수 있으며, 특히 작은 모델에서 더 큰 영향을 미친다. 또한, 다국어 및 중국어 재정렬 능력은 아직 개선이 필요하다는 한계가 있다.

실용적 활용

검색, 추천, RAG(Retrieval-Augmented Generation) 등 대규모 문서 기반 시스템에서 실시간 재정렬이 필요한 상황에 적합. 특히, 서빙 효율성이 중요한 클라우드 기반 검색 엔진이나, 리소스 제한이 있는 모바일 환경에서도 활용 가능. Nano 모델은 저비용 서빙을 필요로 하는 애플리케이션에 적합하며, Large 모델은 고정밀 재정렬이 요구되는 엔터프라이즈급 시스템에 적합.