Douyin Multimodal Embedding Model Technical Report

Multimodal representation learning is a cornerstone of modern AI. By encoding multimodal queries and targets into vectors, it powers industrial search and recommendation and underpins modern agents. Real-world platforms with complex modalities and massive-scale content, such as Douyin, Xiaohongshu, and YouTube, demand both efficiency under billion-scale indexing and fine-grained discrimination for hard matching. Existing MLLM embedding models rarely satisfy both. Contrastive models are efficient but rely on pair-level supervision too coarse for fine-grained distinctions, while CoT-based models improve discrimination through explicit generation impractical to serve online. We present Douyin Multimodal Embedding (DME), a model trained in two stages to combine both strengths. Stage 1 performs large-scale contrastive pre-training that establishes a unified multimodal embedding space with broad modality and task coverage. Stage 2 supplements semantic sufficiency, the property that an embedding is grounded in retrieval-relevant evidence and preserves fine-grained counterpart-side semantics, via two mechanisms. Evidence-Grounded Typed Latent Reasoning organizes retrieval evidence through hidden-space latent reasoning, and Cross-Conditional Reconstruction enforces counterpart-side semantics through cross-directional autoregressive reconstruction. Both act only during training and add only marginal query-side overhead, so DME serves as efficiently as a standard contrastive encoder. On MMEB-v2, DME reaches state-of-the-art results at comparable scales for its 2B and 9B variants (74.8 and 78.4), with especially strong video and visual-document tasks. In production, DME delivers a 2.92% relative gain on Douyin's in-house offline evaluation set, is deployed across Douyin scenarios such as generative, image, and AI search, and yields a 0.1% Lifetime (LT) gain in online A/B testing on Douyin search.

한 줄 요약

도우틴(Douyin)은 대규모 멀티모달 임베딩 모델 DME를 제안하여 검색 및 추천 성능을 향상시켰다.

핵심 기여도

DME는 대규모 대비 학습(Stage 1)과 세부 의미 보존(Stage 2)을 결합한 2단계 학습 프레임워크를 제안.
Stage 2에서 도입된 Evidence-Grounded Typed Latent Reasoning과 Cross-Conditional Reconstruction 기법을 통해 세부 구분 능력을 향상.
MMEB-v2 데이터셋에서 2B 및 9B 버전 모두 기존 최고 성능(SOTA) 달성 (74.8, 78.4).
도우틴 내부 평가에서 2.92% 상대 성능 향상, 온라인 A/B 테스트에서 0.1% LT(Lifetime) 향상 기록.

핵심 아이디어

기존 대비 학습 모델은 대규모 데이터 처리는 가능하지만 세부 구분 능력이 부족하며, CoT 기반 모델은 정확도는 높으나 실시간 처리에 어려움이 있다. DME는 두 접근의 장점을 결합하기 위해 2단계 학습을 도입했다. Stage 1에서는 대규모 대비 학습을 통해 다양한 모달과 작업을 아우르는 임베딩 공간을 구축하고, Stage 2에서는 세부 의미를 보존하기 위한 두 가지 메커니즘(Evidence-Grounded Typed Latent Reasoning, Cross-Conditional Reconstruction)을 추가적으로 학습한다. 이는 추론 시에는 추가 오버헤드 없이도 정확도를 높일 수 있도록 설계되었다.

기술적 접근법

Stage 1: 대규모 대비 학습을 통해 다양한 모달(텍스트, 이미지, 동영상 등)을 아우르는 임베딩 공간 구축.
Stage 2:
**Evidence-Grounded Typed Latent Reasoning**: 히든 공간에서 검색 증거를 조직화하여 의미 기반 추론을 수행.
**Cross-Conditional Reconstruction**: 양방향 자동 회귀 재구성을 통해 대응 측면의 의미를 강화.
학습 시에만 작동하며, 추론 시에는 표준 대비 인코더와 동일한 효율성을 유지.

주요 결과

MMEB-v2 데이터셋에서 DME 2B 버전은 74.8, 9B 버전은 78.4의 정확도를 달성.
도우틴 내부 오프라인 평가에서 2.92% 상대 성능 향상.
온라인 A/B 테스트에서 0.1%의 LT(Lifetime) 향상 기록.
도우틴 검색, 이미지, 생성 모델 등 다양한 시나리오에 배포됨.

의의 및 한계

DME는 대규모 멀티모달 임베딩 모델로서, 효율성과 세부 구분 능력을 동시에 달성한 첫 사례로, 검색 및 추천 시스템의 성능 향상에 기여할 수 있다. 특히, Stage 2에서 도입된 두 가지 메커니즘은 기존 대비 학습 모델의 한계를 극복하는 데 중요한 기여를 했다. 그러나 모델의 학습 과정은 복잡하며, Stage 2의 효과는 특정 작업(예: 비디오, 문서)에서 더 두드러진다는 점은 한계로 작용할 수 있다.

실용적 활용

DME는 대규모 멀티모달 콘텐츠를 다루는 플랫폼(예: YouTube, Xiaohongshu)의 검색, 추천, 생성 모델에 적용 가능하다. 특히, 정확한 콘텐츠 매칭이 필요한 검색 및 추천 시스템에서 실용적 가치가 높다.