MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

Mainstream visual encoders are pretrained on natural images and cannot be effectively applied to document images without document-oriented adaptation, as dense text and fine-grained character strokes demand character-level visual perception. We present MonkeyOCRv2, a visual-text pretrained model for document AI. First, we construct MonkeyDoc v2, to our knowledge the largest document-image pretraining corpus, comprising 113 million images spanning 17 languages. Second, we propose a pretraining strategy that jointly learns image-to-text generation and pixel-level document reconstruction: the former aligns visual representations with textual content, while the latter preserves character strokes and layout details. Extensive experiments are conducted on five representative document analysis tasks, including text recognition, formula recognition, text detection, document tampering detection, and overlapping text segmentation. Replacing the original encoders with MonkeyOCRv2 consistently improves performance across all five tasks. Finally, we validate its effectiveness as the vision encoder of multimodal large language models on the more challenging tasks of document parsing and document understanding. Kept frozen and paired with a lightweight language model, it yields a 0.7B document parsing model that sets a new open-source state-of-the-art on MDPBench, a recent benchmark spanning digital-born and photographed documents across 17 languages, surpassing the previous best 3B dots.mocr by 2.8% absolute with a vision encoder roughly 11times smaller. The frozen encoder also powers a document understanding model that outperforms counterparts built on CLIP, DINO, and SAM across eight benchmarks under identical training settings. These results suggest that document-oriented visual pretraining can serve as a foundation for document intelligence in its own right.

한 줄 요약

MonkeyOCRv2는 문서 이미지 분석을 위한 시각-텍스트 기반 학습 모델로, 113백만 장의 다국어 문서 데이터로 학습해 기존 모델 대비 2.8% 절대 정확도 상승을 달성했다.

핵심 기여도

**MonkeyDoc v2**: 17개 언어, 113백만 장의 문서 이미지로 구성된 최대 규모의 문서 학습 데이터셋을 구축.
**이미지-텍스트 생성과 픽셀 수준 재구성**: 시각 표현과 텍스트 내용을 정렬하고, 글자 형태와 레이아웃을 보존하는 이중 학습 전략을 제안.
**0.7B 파싱 모델**: CLIP, DINO, SAM 기반 모델 대비 11배 작은 비전 인코더로 MDPBench에서 2.8% 절대 정확도 상승.
**다양한 문서 분석 태스크에서 일관된 성능 향상**: 텍스트 인식, 수식 인식, 문서 위변조 탐지 등 5개 태스크에서 평균 5.4% 절대 정확도 향상.

핵심 아이디어

기존 시각 인코더는 자연 이미지 기반으로 학습되어 문서 이미지의 밀집된 텍스트와 세밀한 글자 구조를 정확히 인식하지 못한다. 이를 해결하기 위해, MonkeyOCRv2는 문서 특화된 **MonkeyDoc v2** 데이터셋을 기반으로 **이미지-텍스트 생성**(Image-to-Text Generation)과 **픽셀 수준 재구성**(Pixel-Level Reconstruction)을 결합한 학습 전략을 제안한다.

**Image-to-Text Generation**: 시각 정보와 텍스트 내용 간의 정렬을 강화하여, 텍스트 인식 정확도를 높인다.
**Pixel-Level Reconstruction**: 글자 형태, 레이아웃 구조, 스톡 등 세부 시각 정보를 보존하여, 텍스트가 부족하거나 혼란스러운 경우에도 정확도를 유지한다.

이러한 이중 학습은 특히 **문맥 정보가 부족한 경우**(예: 랜덤으로 섞인 텍스트)에도 모델이 시각 정보에 의존하도록 유도한다. 실험 결과, **448 해상도에서 27.6%의 정확도 하락을 기존 모델 대비 줄이는 효과**를 보였다.

기술적 접근법

**데이터셋**: **MonkeyDoc v2** (113M 장, 17개 언어)
**학습 전략**:
**Image-to-Text Generation**: 텍스트 생성을 통해 시각-텍스트 정렬
**Pixel-Level Reconstruction**: VAE 기반의 이미지 재구성으로 글자 구조 보존
**모델 구조**:
**Encoder**: ViT 기반, 학습 후 **Frozen** 상태로 사용
**Decoder**: 텍스트 생성 및 파싱에 사용, 학습 중에는 제거
**하이퍼파라미터**:
**파싱 모델 크기**: 0.7B 파라미터
**비전 인코더 크기**: 기존 3B dots.mocr 대비 약 11배 작음

주요 결과

**MDPBench**: 0.7B 파싱 모델로 기존 3B dots.mocr 대비 **2.8% 절대 정확도 상승**
**OCR 태스크**:
텍스트 인식: 평균 **5.4% 절대 정확도 향상** (영어, 중국어, 가림 텍스트 포함)
수식 인식: 110M 모델이 325M 모델을 상회
텍스트 탐지: **3.3% 절대 정확도 향상**
문서 위변조 탐지: **7.5% 절대 정확도 향상**
겹친 텍스트 분할: **5.3% 절대 정확도 향상**
**OmniDocBench**: Qwen3-VL-235B, GPT-5.2 등 대규모 VLMs를 상회

의의 및 한계

MonkeyOCRv2는 문서 특화 학습을 통해 기존 자연 이미지 기반 모델의 한계를 극복하고, **문서 지능**(Document Intelligence) 분야의 기초 모델로 활용 가능하다. 특히, **Frozen 인코더 + 가벼운 언어 모델** 조합은 높은 성능과 낮은 계산 비용을 동시에 달성하는 실용적 접근법이다.

하지만, **MonkeyDoc v2는 공개되지 않음**으로 인해 다른 연구자들이 재현하거나 확장하는 데 제약이 있다. 또한, **모든 언어를 다루는 다국어 지원은 아직 한계가 있음**으로, 추가 데이터 확보가 필요하다.

실용적 활용

MonkeyOCRv2는 **문서 디지털화**, **지능형 사무 시스템**, **대규모 언어 모델 학습용 문서 코퍼스 구축**, **AI for Science** 등 다양한 산업과 연구 분야에 적용 가능하다. 특히, **가벼운 파라미터 크기와 높은 정확도**를 통해 클라우드 및 모바일 환경에서도 활용할 수 있다.