EmbeddingGemma 2: Unified and Efficient Multimodal Representations

We present EmbeddingGemma 2, an open multimodal embedding model which natively represents text, images, audio, video, and combinations thereof in a unified space. Our approach introduces improvements such as simplified per-layer embeddings and a multi-stage curriculum with modality and objective progression which ensure strong quality across unimodal, cross-modal, and mixed-modal evaluations. Notably, in comprehensive embedding benchmarks across all modalities, EmbeddingGemma 2 establishes a new Pareto frontier, outperforming both specialist models and models two to twelve times larger. Furthermore, our design offers flexibility for resource-constrained environments, supporting selective modality encoder loading, adjustable vision token budgets, truncatable embedding dimensions, and quantized weights. We present ablations analyzing key decisions and release EmbeddingGemma 2 to promote further research.

한 줄 요약

EmbeddingGemma 2는 744M 파라미터의 오픈 소스 멀티모달 임베딩 모델로, 텍스트, 이미지, 오디오, 동영상 등을 통합된 공간에 매핑하며, 전문 모델 및 2~12배 큰 모델을 능가한다.

핵심 기여도

**744M 파라미터의 통합 멀티모달 임베딩 모델**으로, 텍스트, 이미지, 오디오, 동영상 등을 단일 공간에 매핑.
**Simplified per-layer embeddings**와 **multi-stage curriculum**을 도입해 유니모달, 크로스모달, 믹스모달 평가에서 뛰어난 성능 보장.
**Pareto frontier**를 수립하며, 전문 모델 및 2~12배 큰 모델을 능가.
**리소스 제약 환경 지원** (selective encoder loading, truncatable embedding, quantized weights).

핵심 아이디어

EmbeddingGemma 2는 기존 멀티모달 임베딩 모델이 크로스모달만 처리하는 한계를 극복하고, 텍스트, 이미지, 오디오, 동영상 등을 **자연스럽게 믹스된 입력**을 처리할 수 있도록 설계되었다. 이 모델은 **271M 파라미터의 양방향 트랜스포머**와 **167M 파라미터의 비전 인코더**, **305M 파라미터의 오디오 인코더**를 결합하여, 각 모달의 인코더가 독립적으로 토큰 임베딩을 생성한 후, 공유 트랜스포머에 입력하는 구조를 채택한다. 이는 모델 파라미터를 모듈화하여, 텍스트-전용(271M), 비전-언어(439M), 오디오-언어(577M) 등 다양한 구성으로 사용할 수 있도록 한다. 학습 단계에서는 **3단계 커리큘럼 학습**을 통해 모달과 학습 목적을 점진적으로 확장하며, **다양한 도메인과 태스크**에서의 성능을 균형 있게 향상시킨다.

기술적 접근법

**모델 아키텍처**:
271M 파라미터의 양방향 트랜스포머 (embedder 포함)
167M 파라미터의 비전 인코더
305M 파라미터의 오디오 인코더
**학습 전략**:
3단계 커리큘럼 학습: 텍스트-전용 → 멀티모달 → 복합 태스크
**Contrastive learning**과 **Distillation**을 별도의 단계로 분리
**Quantization-aware training**으로 가중치 양자화 모델 제공
**추론 최적화**:
선택적 인코더 로딩 (selective modality encoder loading)
가변 비전 토큰 예산 (adjustable vision token budget)
Truncatable embedding dimensions
가중치 양자화 (quantized weights)

주요 결과

**MMEB-v2**에서 EmbeddingGemma 2는 전문 모델 및 2~12배 큰 모델을 능가하며, **Pareto frontier**를 수립.
**MTEB (Massive Text Embedding Benchmark)**에서 **다국어 텍스트 및 코드 벤치마크**에서 이전 모델 대비 성능 향상.
**비전 및 오디오 태스크**에서 전문 모델 수준의 성능 달성.
**비전 토큰 예산**이 140 토큰/프레임, 280 토큰/이미지로 설정되었으며, 이는 실제 사용 환경을 반영한 수치.

의의 및 한계

EmbeddingGemma 2는 파라미터 수가 적음에도 불구하고, 멀티모달 임베딩 분야에서 **전문 모델 및 대규모 모델을 능가하는 성능**을 보여주며, **리소스 제약 환경에서의 실용성**을 높인다. 특히, **가중치 양자화와 임베딩 축소**를 통해 모델의 가벼운 배포가 가능하다는 점에서 학술적·산업적 가치가 크다. 그러나, **오디오 태스크는 ASR 대신 네이티브 처리**를 통해 성능을 개선했지만, **음성 인식에 특화된 모델과의 비교는 제한적**이며, **음악 및 환경 소리 처리에 대한 세부 평가도 부족**하다는 한계가 있다.

실용적 활용

EmbeddingGemma 2는 **임베딩 기반 정보 검색, 시맨틱 유사도 분석, 클러스터링, 리트리벌-증강 생성** 등에 활용 가능하다. 특히, **모바일 및 IoT 기기**와 같은 **리소스 제약 환경**에서 **가벼운 모델 배포**가 가능하며, **오프라인 환경에서의 사용**을 지원하는 점에서 실용적이다. 또한, **다국어 및 코드 태스크**에서의 성능 향상은 글로벌 개발 및 연구 환경에서 유용하게 사용될 수 있다.