Ovis-Embedding: Pushing the Frontiers of Universal Omni-Modal Embeddings

In this report, we introduce \textbf{Ovis-Embedding}, a state-of-the-art omni-modal embedding family built on native integration of text, image, video, and audio. Instead of assembling separate modality towers, Ovis-Embedding uses a shared multimodal backbone to encode different modalities in a common representation space. Specifically, we make \textbf{three key advances}: (1) \textbf{native omni-modal initialization}: we adopt a pretrained Qwen-omni model as the embedding backbone and adapt it through contrastive training with low-rank initialization; (2) \textbf{data-centric omni-modal training}: we construct a broad, high-quality corpus spanning text, images, video, audio, and interleaved multimodal data. To improve data efficiency, we introduce homogeneous-source sampling to form task-consistent batches with informative in-batch negatives; and (3) \textbf{embedding-specific training and inference optimization}: we use focal loss to emphasize hard examples and similarity-based Embedding Distillation to transfer fine-grained similarity structure from complementary experts. At inference time, low-rank feature decomposition enables compact embeddings with flexible dimensionality and minimal performance loss. Empirical evaluations show that the \textbf{Ovis-Embedding} family achieves state-of-the-art performance on \textbf{MMEB-v3}, \textbf{MMEB-v2}, \textbf{MVEB}, \textbf{MAEB}, and \textbf{RTEB}, demonstrating its effectiveness across text, image, video, and audio modalities. These results highlight the potential of unified omni-modal training to overcome modality fragmentation and advance universal embedding models for any-to-any retrieval.

한 줄 요약

Ovis-Embedding은 텍스트, 이미지, 영상, 오디오를 통합한 공통 임베딩 공간을 생성하는 최신 옴니모달 임베딩 모델이다.

핵심 기여도

**네이티브 옴니모달 초기화**: Qwen-omni 모델을 기반으로 저랭크 초기화를 통한 대비 학습을 적용.
**데이터 중심 옴니모달 학습**: 텍스트, 이미지, 영상, 오디오, 인터리빙 데이터를 포함한 대규모 고질량 코퍼스 구축. 동일 출처 샘플링을 통해 데이터 효율성 향상.
**임베딩 전용 최적화**: Focal Loss와 유사도 기반 Embedding Distillation을 사용해 정교한 유사도 구조 전이. 추론 시 저랭크 특징 분해로 컴팩트 임베딩 생성.
**성능**: MMEB-v3, MMEB-v2, MVEB, MAEB, RTEB에서 최신 기록 달성.

핵심 아이디어

기존 모델은 텍스트-비주얼 전용 모델에 오디오 경로를 추가하거나 별도 인코더를 사용해 모달 간 정밀 정렬을 제한했다. Ovis-Embedding은 Qwen-omni 모델을 기반으로 텍스트, 이미지, 영상, 오디오를 공유된 백본으로 처리해 **모달 분할을 극복**한다.

특히, **Embedding Distillation**을 통해 전문가 모델의 유사도 구조를 전이하고, **Focal Loss**를 사용해 어려운 샘플에 집중 학습함으로써 정밀도를 높인다. 또한, **저랭크 특징 분해**를 통해 임베딩 차원을 유연하게 조절하면서도 성능 손실을 최소화한다. 이는 기존의 모달 별 인코더 구조와는 차별화된 접근법이다.

기술적 접근법

**모델 구조**: Qwen-omni를 기반으로, 스피치-제너레이션 경로는 제거하고 마지막 non-padding 토큰의 최종층 상태를 임베딩으로 사용.
**학습 전략**:
**저랭크 대비 학습**: 대규모 옴니모달 코퍼스에서 대비 학습 수행.
**동일 출처 샘플링**: 데이터 병렬 워커 간 후보군을 모아 크로스-모달 음성 풀 형성.
**Embedding Distillation**: 전문가 모델의 유사도 분포를 기반으로 학습.
**추론 최적화**: 저랭크 특징 변환과 가벼운 잔차 적응을 통해 다양한 차원의 컴팩트 임베딩 생성.

주요 결과

**MMEB-v3**: Ovis-Embedding-Omni-3B가 최신 기록 달성.
**MMEB-v2**: Ovis-Embedding-VL-9B가 최상위 성적.
**MVEB, MAEB, RTEB**: 기존 모델 대비 성능 개선.
**성능 지표**: Hit@1, nDCG@5, nDCG@10 등 각 데이터셋에서 베이스라인 대비 +Z% 개선 (구체적 %는 명시되지 않음).

의의 및 한계

Ovis-Embedding은 **모달 간 분할 문제를 해결**하고, **유니버설 임베딩 모델의 기초**가 될 수 있는 잠재력을 보여준다. 특히, **임베딩 차원의 유연성**과 **임베딩 공간의 일관성**은 다양한 검색 및 추천 시스템에 유용하다.

하지만, **특정 도메인에서의 성능**이나 **실시간 추론 성능**에 대한 평가가 명시되지 않았으며, **데이터 편향 가능성**이나 **대규모 모델의 에너지 소비**에 대한 논의도 부재하다.

실용적 활용

Ovis-Embedding은 **다중 모달 검색 시스템**, **챗봇 및 에이전트 기반 추천**, **멀티모달 콘텐츠 관리 플랫폼** 등에 적용 가능하다. 특히, **오디오-비디오-텍스트 통합 검색**이 필요한 산업 현장에서 유용하며, **임베딩 차원 조절 기능**은 클라우드 기반 서비스에서 저장 및 계산 비용 절감에 기여할 수 있다.