NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation Encoder for Efficient Fine-Tuning and Inference

Multimodal models often build on architectures designed for generative vision-language modeling, typically combining separately pretrained vision encoders with causal language models. Visual document retrievers such as ColPali repurpose these models as encoders, carrying over the parameter and compute overhead of a VLM for a non-generative task. We introduce NeoMME, a family of 260M and 800M-parameter Multimodal and Multilingual bidirectional Encoders that process multilingual text and raw image patches in a single bidirectional Transformer encoder. Both models are pretrained from scratch with a masked discrete-diffusion text objective, conditioned on visible image patches for multimodal examples. Both support a 16,384-token context, enough to encode up to two standard 4K UHD images. To demonstrate its downstream capabilities, we fine-tune NeoMME with jointly trained dense and late-interaction heads. On the ViDoRe v3 benchmark, the resulting NeoMME-Retriever 260M outperforms all evaluated models strictly below 800M parameters with 0.523 nDCG@10, while NeoMME-Retriever 800M reaches 0.556. At a matched 2048x2048 image input size on an NVIDIA L40S, NeoMME-260M encodes pages with about 2x the throughput of ColModernVBERT. Hierarchical token pooling and asymmetric quantization compress late-interaction multimodal document embeddings by 255x while preserving over 95% of baseline nDCG@10. We contribute NeoMME to Hugging Face Transformers and release the pretrained backbone and retrieval-compatible checkpoints under Apache 2.0 at https://hf.co/collections/Hcompany/neomme.

한 줄 요약

NeoMME는 단일 트랜스포머 인코더로 멀티모달 및 다국어 텍스트와 이미지를 처리하는 효율적인 기반 모델이다.

핵심 기여도

NeoMME 260M 및 800M 파라미터 모델은 단일 트랜스포머 인코더로 텍스트와 32×32 픽셀 이미지 패치를 처리하며, ViDoRe v3에서 각각 0.523 및 0.556 nDCG@10 성능을 달성함.
260M 모델은 NVIDIA L40S에서 2048×2048 입력 크기에서 ColModernVBERT 대비 약 2× 빠른 처리 속도를 보임.
계층적 토큰 풀링과 비대칭 양자화를 통해 255× 압축된 임베딩을 유지하면서도 95% 이상의 nDCG@10 성능을 보존함.
Hugging Face Transformers에 공개되어 Apache 2.0 라이선스로 배포됨.

핵심 아이디어

기존 멀티모달 모델은 대부분 사전 학습된 이미지 인코더와 언어 모델을 결합한 구조를 사용하지만, 이는 비생성적 작업에서도 불필요한 계산 오버헤드를 유발한다. NeoMME는 이러한 문제를 해결하기 위해 텍스트와 이미지를 모두 단일 트랜스포머 인코더에서 처리하는 새로운 아키텍처를 제안한다. 이 모델은 텍스트 토큰과 32×32 픽셀 이미지 패치를 동일한 공간으로 매핑하고, 동일한 트랜스포머 레이어를 통해 결합 처리한다. 이는 모달 간 비대칭 구조와 병렬 처리를 제거하여 효율성을 높인다. 또한, 텍스트-이미지 쌍에 대해 '가시 이미지 패치 조건부 마스킹 디퓨전' 예측을 사용하여 멀티모달 학습을 수행하며, 이는 텍스트만의 학습과 통합 가능하다.

기술적 접근법

**모델 아키텍처**: 단일 트랜스포머 인코더로 텍스트와 32×32 픽셀 이미지 패치를 처리.
**학습 전략**: 마스킹된 디퓨전 기반 텍스트 예측을 사용하며, 멀티모달 예제에서는 가시 이미지 패치에 조건을 붙임.
**입력 처리**: 동적 해상도로 이미지 비율 유지, 16,384 토큰 컨텍스트를 지원.
**추론 최적화**: 계층적 토큰 풀링(8배)과 비대칭 양자화(int8 쿼리, 이진 문서)를 통해 임베딩을 255× 압축.
**하이퍼파라미터**: 260M 및 800M 파라미터 버전 제공, 2048×2048 입력 크기에서 평가.

주요 결과

**ViDoRe v3**: NeoMME-Retriever 260M은 0.523 nDCG@10 (800M 이하 모델 중 최고), 800M은 0.556 달성.
**처리 속도**: 2048×2048 입력 크기에서 NeoMME-260M은 ColModernVBERT 대비 약 2× 빠름.
**압축 효율성**: 1.5MB 임베딩을 6kB로 압축(255×), 95% 이상의 nDCG@10 유지.

의의 및 한계

NeoMME는 기존 멀티모달 모델이 가지는 복잡한 아키텍처와 계산 오버헤드를 줄이며, 비용 효율적인 멀티모달 및 다국어 인코딩을 가능하게 한다. 특히, 단일 트랜스포머 구조는 모델의 일관성과 확장성을 높이며, 다양한 작업에서 유연한 추론이 가능하다. 그러나 800M 모델이 260M 대비 성능 향상폭이 크지 않다는 점에서, 더 큰 파라미터 규모가 반드시 성능 향상으로 이어지는 것은 아님을 시사한다. 또한, 이미지 해상도가 높아질수록 토큰 수가 급증하여 메모리 효율성에 대한 추가 연구가 필요할 수 있다.

실용적 활용

NeoMME는 문서 검색, 멀티모달 정보 검색, 다국어 콘텐츠 분석 등에 활용 가능하다. 특히, 대규모 문서 코퍼스에서 빠른 검색이 필요한 시스템에 적합하며, Hugging Face Transformers와의 호환성으로 연구자 및 개발자들이 쉽게 활용할 수 있다.