OvisOCR2 Technical Report

We introduce OvisOCR2, a 0.8B document parsing model. OvisOCR2 is designed as an end-to-end parser: given a document page image, it generates a Markdown representation in natural reading order, covering text, formulas, tables, and visual regions. We build a data engine that combines filtered real-document annotations with synthetic pages whose rendered images and Markdown targets are derived from the same HTML source. The training recipe includes supervised fine-tuning, reinforcement learning on a 4B branch with a multi-component reward design, on-policy distillation into the 0.8B model, and model fusion. On OmniDocBench v1.6, OvisOCR2 achieves a state-of-the-art overall score of 96.58, placing an end-to-end model at the top of this leaderboard previously dominated by pipeline methods and highlighting the potential of end-to-end document parsing. On PureDocBench, OvisOCR2 also achieves the highest Avg3 score of 75.06. Beyond these two public benchmarks, we evaluate OvisOCR2 on an in-house benchmark designed to cover a broader set of long-tail and challenging scenarios. OvisOCR2 obtains the best overall performance among the compared methods, providing further evidence of its generalization and robustness. OvisOCR2 is available at https://huggingface.co/ATH-MaaS/OvisOCR2.

한 줄 요약

OvisOCR2는 0.8B 파라미터의 문서 파서로, OmniDocBench v1.6에서 96.58 점을 달성하며 엔드투엔드 모델 최초로 1위를 기록했다.

핵심 기여도

0.8B 파라미터의 엔드투엔드 문서 파서 OvisOCR2를 제안.
데이터 엔진에서 필터링된 실제 문서와 소스 정렬된 합성 페이지를 결합.
4B 브랜치에서 강화 학습과 다중 구성 요소 보상 설계를 적용.
OmniDocBench v1.6에서 96.58 점, PureDocBench에서 75.06 Avg3 점을 달성.

핵심 아이디어

OvisOCR2는 문서 이미지를 Markdown 형식으로 변환하는 엔드투엔드 모델로, 기존 파이프라인 방식의 복잡성과 오류 누적 문제를 해결한다. 이 모델은 Qwen3.5-0.8B를 기반으로 후기 학습을 통해 개발되었으며, Markdown 생성 과정에서 페이지 전체의 맥락을 고려할 수 있도록 설계되었다. 핵심 아이디어는 소스 정렬된 합성 데이터와 실제 문서의 결합을 통해 학습 데이터의 다양성과 일관성을 동시에 확보하는 것이다. 또한, 강화 학습과 온폴리시 디스틸레이션을 통해 4B 브랜치에서 학습한 모델을 0.8B 모델로 이식하여 성능과 효율성을 균형 있게 유지한다.

기술적 접근법

**모델 아키텍처**: Qwen3.5-0.8B를 기반으로 엔드투엔드 문서 파서로 개발.
**데이터 엔진**: 실제 문서의 필터링된 어노테이션과 소스 정렬된 합성 페이지를 결합.
**학습 레시피**:
감독 미세 조정 (supervised fine-tuning)
4B 브랜치에서 강화 학습 (reinforcement learning) 및 다중 구성 요소 보상 설계
온폴리시 디스틸레이션 (on-policy distillation)을 통한 0.8B 모델 학습
가중치 평균화 기반 모델 퓨전 (model fusion)
**출력 형식**: Markdown으로 자연스러운 읽기 순서를 유지하며 텍스트, 수식, 표, 시각적 영역을 포함.

주요 결과

**OmniDocBench v1.6**: 96.58 점 (기존 파이프라인 방식 모델을 앞선 엔드투엔드 최고 성능)
**PureDocBench**: 75.06 Avg3 점 (1위)
**내부 벤치마크**: 1,000 페이지 이상의 복잡한 문서 시나리오에서 가장 높은 종합 점수 달성
**특정 분야 성능**: 필기체와 복잡한 표 문서에서도 우수한 성능 보임

의의 및 한계

OvisOCR2는 엔드투엔드 문서 파서로서 기존 파이프라인 방식의 성능을 넘어선 최초의 모델로, 문서 파싱 분야에서 엔드투엔드 접근의 잠재력을 입증한다. 특히, 0.8B의 소형 모델임에도 불구하고 뛰어난 성능을 보이며, 배포 용량과 성능의 균형을 유지하는 데 성공했다. 그러나, 저품질 이미지나 특수한 문서 형식에 대한 내성은 아직 개선이 필요하며, 향후 연구에서는 이러한 방향으로 개선 계획이 제시되었다.

실용적 활용

OvisOCR2는 문서 스캐닝, 디지털 아카이빙, 정보 추출 등 다양한 산업 분야에서 활용 가능하다. 특히, Markdown 형식의 출력은 검색, 인덱싱, 후속 처리에 용이하며, 소형 모델의 특성상 클라우드나 모바일 환경에서도 효율적으로 배포할 수 있다.