Your Embedding Model is SMARTer Than You Think

Multimodal retrieval relies heavily on single-vector retrievers, which compress rich, sequential token sequences into one single global representation. While efficient, they discard fine-grained, local evidence critical for dense retrieval tasks. Multi-vector approaches were introduced as a solution, but they strictly require training and many ignore the necessity of a globally summarizing representation. To address this, we introduce SMART, a framework that unlocks the latent multi-vector capabilities of standard single-vector models. We first demonstrate that standard contrastive training on the pooled embedding implicitly shapes the retrieval geometry of preceding hidden states via gradient flow. By applying direct late-interaction over these frozen hidden states during inference, SMART acts as a plug-and-play upgrade that consistently improves performance across diverse modalities, improving even the state-of-the-art models further on MMEB-V2. We also reveal SMART's superior performance, as simple lightweight post-training not only saves time and compute, but also brings forth further improvement on Visual Document retrieval, allowing a single-vector model to outperform SoTA multi-vector counterparts. Ultimately, SMART offers both a highly efficient inference enhancement and a powerful finetuning technique for multimodal retrieval. We open source our code and weights at https://github.com/HanSolo9682/SMART.

📋 한 줄 요약

**[Multimodal Retrieval / Late Interaction]** SMART가 단일 벡터 모델의 hidden state에 frozen late-interaction을 적용 — 학습 없이 plug-and-play 향상, MMEB-V2 SOTA 추가 향상·visual document retrieval에서 단일 벡터가 multi-vector SOTA 능가.

🎯 핵심 기여도

Multimodal retrieval이 single-vector retriever에 heavily 의존 — 풍부한 sequential token sequence를 단 하나의 global representation으로 압축. 효율적이지만 dense retrieval에 critical한 fine-grained local 증거를 폐기한다는 한계 진단.
Multi-vector 접근이 해결책으로 도입되었으나 strict하게 training이 필요하고, 많은 방법이 globally summarizing representation의 필요성을 무시한다는 문제 지적.
SMART 프레임워크 도입 — 표준 single-vector 모델의 latent multi-vector capability를 unlock.
Pooled embedding에 대한 standard contrastive training이 gradient flow를 통해 preceding hidden state의 retrieval geometry를 implicitly shaping함을 보이고, 이 frozen hidden state에 direct late-interaction을 inference 시 적용 — SMART가 plug-and-play upgrade로 작동, 다양 modality 성능을 일관 향상, MMEB-V2의 SOTA 모델을 더욱 개선.

💡 핵심 아이디어

Single-vector contrastive 학습이 이미 preceding hidden state에 multi-vector retrieval geometry를 implicitly shaping하며, 별도 학습 없이 frozen hidden state에 late-interaction을 적용하는 plug-and-play 인퍼런스만으로 multi-vector 능력을 unlock해 단일 벡터 모델이 multi-vector SOTA를 능가할 수 있다.

🔬 기술적 접근법

**방법론**: SMART — frozen hidden state late-interaction 프레임워크.
**핵심 기법**: (1) Pooled embedding의 표준 contrastive training이 preceding hidden state의 retrieval geometry를 implicit하게 형성한다는 관찰, (2) Frozen hidden state에 direct late-interaction 적용, (3) 추가 학습 없이 plug-and-play inference upgrade, (4) Multimodal 다양 modality에 일관 적용, (5) 선택적 lightweight post-training으로 visual document retrieval에서 추가 향상.

📊 주요 결과

MMEB-V2 SOTA 모델에 SMART 적용 시 추가 향상.
Diverse modality 일관 성능 개선.
Visual document retrieval에서 simple lightweight post-training으로 추가 향상.
Single-vector 모델이 SoTA multi-vector counterpart 능가.
시간·compute 절감 동시 효과.
Code·weight 공개: github.com/HanSolo9682/SMART.

💭 의의 및 한계

**의의**: 단일 벡터 모델의 잠재 multi-vector 능력에 대한 통찰, 학습 없는 plug-and-play 효율, multi-vector SOTA 능가로 효율·품질 양립, MMEB-V2 SOTA 추가 향상의 일반화 가능성. **한계**: Hidden state late-interaction의 메모리·연산 cost, post-training이 효과 극대화에 필요한 경우, 어떤 hidden layer를 사용할지의 선택 문제.

🚀 실용적 활용

Multimodal retrieval pipeline의 효율적 강화.
Visual document·document image retrieval.
기존 단일 벡터 모델의 plug-and-play 업그레이드.