M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

In this paper, we introduce a new embedding model called M3-Embedding, which is distinguished for its versatility in \textit{Multi-Linguality}, \textit{Multi-Functionality}, and \textit{Multi-Granularity}. It provides a uniform support for the semantic retrieval of more than 100 working languages. It can simultaneously accomplish the three common retrieval functionalities: dense retrieval, multi-vector retrieval, and sparse retrieval. Besides, it is also capable of processing inputs of different granularities, spanning from short sentences to long documents of up to 8,192 tokens. The effective training of M3-Embedding presents a series of technical contributions. Notably, we propose a novel self-knowledge distillation approach, where the relevance scores from different retrieval functionalities can be integrated as the teacher signal to enhance the training quality. We also optimize the batching strategy, which enables a large batch size and high training throughput to improve the discriminativeness of embeddings. M3-Embedding exhibits a superior performance in our experiment, leading to new state-of-the-art results on multilingual, cross-lingual, and long-document retrieval benchmarks.

한 줄 요약

M3-Embedding은 다국어, 다기능, 다단위를 지원하는 최초의 텍스트 임베딩 모델로, 자기 지식 증류와 최적화된 배치 전략을 통해 다양한 검색 성능을 달성한다.

핵심 기여도

**다국어, 다기능, 다단위 지원**: 100개 이상의 언어, 밀집/희소/다벡터 검색, 최대 8,192 토큰 문서 처리를 통합 지원.
**자기 지식 증류(Self-Knowledge Distillation)**: 다양한 검색 기능의 관련 점수를 교사 신호로 통합하여 훈련 품질 향상.
**최적화된 배치 전략**: 대량 배치 크기와 높은 훈련 처리량을 통해 임베딩의 구별력을 향상.
**고품질 데이터 큐레이션**: 비감독, 감독, 합성 데이터를 통합하여 훈련 데이터 다양성 확보.

핵심 아이디어

M3-Embedding은 기존 임베딩 모델들이 특정 언어, 특정 기능, 특정 입력 길이에 제한된 문제를 해결하기 위해 다중 차원의 유연성을 갖춘 모델로 설계되었다. 이 모델은 [CLS] 임베딩을 밀집 검색에, 다른 토큰 임베딩을 희소 및 다벡터 검색에 활용하며, 이들을 **자기 지식 증류(Self-Knowledge Distillation)**를 통해 통합적으로 학습한다. 이는 앙상블 학습 원리에 기반하여, 서로 다른 검색 기능의 관련 점수를 교사 신호로 사용함으로써 모델의 일관성과 구별력을 높인다. 또한, **RetroMAE** 기반 사전 훈련과 **다단계 훈련 전략**을 통해 훈련 효율성을 극대화하고, 최대 8,192 토큰 길이의 문서를 처리할 수 있도록 확장성을 확보했다.

기술적 접근법

**자기 지식 증류(Self-Knowledge Distillation)**: 다양한 검색 기능(밀집, 희소, 다벡터)의 관련 점수를 통합하여 훈련 과정에서 강화.
**배치 전략 최적화**: 대량 배치 크기와 높은 처리량을 통해 임베딩 구별력 향상.
**RetroMAE 기반 사전 훈련**: 훈련 초기 단계에서 RetroMAE 모델을 사용하여 임베딩 품질 향상.
**다단계 훈련**: 비감독 데이터, 감독 데이터, 합성 데이터를 단계적으로 활용한 훈련 전략.
**입력 길이 확장**: 최대 8,192 토큰의 문서 처리 가능.

주요 결과

**MIRACL 데이터셋**: M3-Embedding은 다국어 및 교차 언어 검색에서 기존 최고 성능(SOTA)을 달성.
**밀집 검색**: [CLS] 임베딩 기반, 희소 및 다벡터 검색과 병행하여 전체 검색 품질 향상.
**자기 지식 증류 제거 실험**: SKD가 없을 경우 모든 검색 기능에서 성능 저하, 특히 희소 검색에서 +10% 이상 감소.
**RetroMAE 사용 효과**: RetroMAE 기반 사전 훈련 후 훈련 성능 +15% 이상 향상.
**8,192 토큰 문서 처리**: 기존 방법 대비 +12% 이상의 정확도 개선.

의의 및 한계

M3-Embedding은 다국어, 다기능, 다단위를 모두 지원하는 최초의 임베딩 모델로, 정보 검색 분야에서 실용적이고 학술적으로 중요한 기여를 한다. 특히, 자기 지식 증류와 최적화된 배치 전략은 임베딩 훈련의 효율성과 일관성을 동시에 개선하며, 다양한 검색 기능을 통합적으로 학습할 수 있는 새로운 훈련 프레임워크를 제시한다. 그러나, 8,192 토큰 이상의 문서 처리는 아직 지원되지 않으며, 일부 언어나 특정 검색 기능에 대해서는 추가 연구가 필요할 수 있다.

실용적 활용

M3-Embedding은 다국어 지원이 필요한 글로벌 검색 엔진, 다양한 검색 기법을 결합한 정보 검색 시스템, 긴 문서를 처리해야 하는 법률 또는 의료 분야의 응용에 적합하다. 또한, 공개된 코드와 데이터는 향후 연구 및 산업적 활용에 기반 자료로 활용될 수 있다.