OvisOCR3 Technical Report

We introduce OvisOCR3, a 0.8B model for a broad range of OCR-related tasks. OvisOCR3 unifies document parsing, general OCR, key information extraction (KIE), document figure captioning, and cross-page table reconstruction in a single model. We train the model on real and synthetic data through continued pretraining and use domain-balanced mid-training to balance supervision across tasks with different data volumes and response lengths. Multi-teacher on-policy distillation transfers expertise from five domain-specific 4B teachers into the shared model, followed by mixed-task reinforcement learning with domain-specific rewards. We compare OvisOCR3 with general-purpose vision-language models and specialized OCR models on public and in-house benchmarks covering all five task families. In these comparisons, it achieves an overall score of 96.74 on OmniDocBench v1.6 and the highest overall scores on PureDocBench, Real5-OmniDocBench, and MDPBench. On OCRBench v2, it ranks first, scoring 65.9 and 61.3 on the English and Chinese splits, respectively. It also outperforms the baselines on OCRBench and all four KIE benchmarks. On DocFigCapBench, it achieves the highest localization F1 and a caption score close to that of Qwen3.8-Max. For cross-page tables, it leads in Relation F1 on CrossTabBench and truncated-table TEDS on MPDocBench-Parse. These results demonstrate that a compact 0.8B model can achieve strong performance across diverse OCR-related tasks. OvisOCR3 is available at https://huggingface.co/ATH-MaaS/OvisOCR3.

한 줄 요약

OvisOCR3는 0.8B 파라미터로 5가지 OCR 관련 작업을 통합 처리하는 모델로, 다양한 벤치마크에서 뛰어난 성능을 보인다.

핵심 기여도

0.8B 모델로 문서 파싱, 일반 OCR, 키 정보 추출, 문서 그림 캡션 생성, 다중 페이지 테이블 복원을 통합 처리.
다중 교사 정책 기반 지도 (Multi-Teacher On-Policy Distillation, MOPD)와 혼합 작업 강화 학습 (Mixed-Task Reinforcement Learning, MixRL)을 사용.
OmniDocBench v1.6에서 96.74 점, OCRBench v2에서 영어 65.9, 중국어 61.3 점 기록.
CrossTabBench에서 Relation F1, MPDocBench-Parse에서 truncated-table TEDS 최고 기록.

핵심 아이디어

OvisOCR3는 단일 0.8B 모델로 OCR 관련 다중 작업을 처리하는 것을 목표로 한다. 이는 기존의 작업별 모델을 별도로 사용하는 방식과 달리, 하나의 모델로 다양한 작업을 처리함으로써 효율성을 높인다. 핵심 아이디어는 다음과 같다:

1. **다중 작업 통합 학습**: 문서 파싱, OCR, KIE, 그림 캡션 생성, 다중 페이지 테이블 복원을 하나의 모델로 처리.
2. **도메인 균형 학습 (Domain-Balanced Mid-Training)**: 작업별 데이터량과 응답 길이 차이를 고려해 토큰 수준과 샘플 수준 손실 정규화를 통해 균형 잡힌 학습 수행.
3. **MOPD + MixRL**: 다섯 개의 4B 도메인 전용 교사 모델의 지식을 통합한 후, 도메인별 보상 기반 혼합 작업 강화 학습으로 최종 모델 최적화.

기술적 접근법

**모델 아키텍처**: Qwen3.5-0.8B 기반, 0.8B 파라미터.
**학습 단계**:

1. **Continued Pretraining**: 실제 및 합성 데이터로 사전 학습.
2. **Domain-Balanced Mid-Training**: 작업별 데이터 불균형 보정.
3. **Multi-Teacher On-Policy Distillation (MOPD)**: 5개의 4B 도메인 전용 교사 모델의 지식 전이.
4. **Mixed-Task Reinforcement Learning (MixRL)**: 도메인별 보상 함수를 사용한 강화 학습.

**출력 표현**: 바운딩 박스 좌표는 입력 이미지 너비/높이 대비 정규화된 0–999 범위의 정수로 표현.

주요 결과

**OmniDocBench v1.6**: 96.74 점 (전체 점수).
**OCRBench v2**: 영어 65.9, 중국어 61.3 점 (각각 1위).
**DocFigCapBench**: 최고 localization F1, 캡션 점수는 Qwen3.8-Max와 유사.
**CrossTabBench**: Relation F1 1위.
**MPDocBench-Parse**: truncated-table TEDS 1위.
**KIE 벤치마크 4개 모두에서 베이스라인을 상회**.

의의 및 한계

OvisOCR3는 0.8B의 소형 모델임에도 불구하고 다중 OCR 작업에서 뛰어난 성능을 보여, 모델의 효율성과 범용성을 입증한다. 특히, MOPD와 MixRL을 통해 도메인별 전문 지식을 통합하고 강화 학습을 통해 최적화한 점이 학술적 가치를 높인다.

그러나, 모델은 0.8B 크기로 제한되어 있어 더 복잡한 작업에서는 성능 저하가 발생할 수 있으며, 학습 과정에서 사용된 5개의 4B 교사 모델은 실제 사용 시 필요하지 않지만, 학습 초기 단계에서는 필수적이다. 또한, 일부 벤치마크에서 최고 점수를 기록했지만, 특정 도메인에서 전용 모델보다 낮은 성능을 보이는 경우도 존재한다.

실용적 활용

OvisOCR3는 문서 처리, 정보 추출, 이미지 캡션 생성 등 다양한 OCR 관련 작업이 필요한 산업 현장에서 활용 가능하다. 특히, 단일 모델로 여러 작업을 처리할 수 있어, 클라우드 기반 서비스나 모바일 애플리케이션 등에서 모델 배포 효율성을 높일 수 있다. 또한, 연구 분야에서는 OCR 모델의 다중 작업 통합 연구에 중요한 기초 자료가 될 수 있다.