DocAtlas: Multilingual Document Understanding Across 80+ Languages

Multilingual document understanding remains limited for low-resource languages due to scarce training data and model-based annotation pipelines that perpetuate existing biases. We introduce DocAtlas, a framework that constructs high-fidelity OCR datasets and benchmarks covering 82 languages and 9 evaluation tasks. Our dual pipelines, differential rendering of native DOCX documents and synthetic LaTeX-based generation for right-to-left scripts produce precise structural annotations in a unified DocTag format encoding layout, text, and component types, without learned models for core annotation. Evaluating 16 state-of-the-art models reveals persistent gaps in low-resource scripts. We show that Direct Preference Optimization (DPO) using rendering-derived ground truth as positive signal achieves stable multilingual adaptation, improving both in-domain (+1.9%) and out-of-domain (+1.8%) accuracy without measurable base-language degradation, where supervised fine-tuning degrades out-of-domain performance by up to 21%. Our best variant, DocAtlas-DeepSeek, improves +1.7% over the strongest baseline.

📋 한 줄 요약

**[문서 이해 / 멀티링구얼]** 82개 언어·9개 평가 태스크를 커버하는 고품질 OCR 데이터셋·벤치마크 DocAtlas와 렌더링 기반 ground truth로 DPO 적응을 수행하는 학습 레시피 제안.

🎯 핵심 기여도

저자원 언어에서 학습 데이터 부족과 모델 기반 주석 파이프라인의 기존 편향 재생산 문제를 명확히 진단.
**DOCX 차등 렌더링** + **right-to-left 스크립트용 synthetic LaTeX 생성**이라는 듀얼 파이프라인으로 학습된 모델 없이 정확한 구조 주석을 생성.
레이아웃·텍스트·구성요소 타입을 통합 인코딩하는 DocTag 포맷 도입.
16개의 SOTA 모델 평가로 저자원 스크립트의 지속적 격차를 정량화하고, 렌더링 기반 ground truth를 positive signal로 사용하는 DPO 적응이 in-domain +1.9%, out-of-domain +1.8%를 베이스 언어 손상 없이 달성함을 입증(SFT는 OOD를 최대 21% 저하).

💡 핵심 아이디어

저자원 멀티링구얼 문서 이해의 핵심은 더 좋은 모델이 아니라 **모델 없이도 정확한 ground truth를 만드는 데이터 파이프라인**이다. 그렇게 얻은 ground truth는 DPO의 positive signal로 활용될 때 가장 안정적인 적응을 이끈다.

🔬 기술적 접근법

**모델/방법론**: DocAtlas 듀얼 파이프라인 + DocTag 통합 포맷 + DPO 기반 멀티링구얼 적응.
**핵심 기법**: (1) native DOCX 문서의 차등 렌더링으로 정밀 구조 주석 추출, (2) right-to-left 스크립트는 LaTeX 기반 synthetic 생성, (3) DocTag 포맷으로 layout·text·component type 통합 인코딩, (4) 렌더링 derived ground truth를 positive로 한 DPO 적응.

📊 주요 결과

82개 언어·9개 평가 태스크 커버.
16개 SOTA 모델 평가에서 저자원 스크립트의 지속적 격차 확인.
DPO: in-domain +1.9%, out-of-domain +1.8% 향상, 베이스 언어 손상 없음.
SFT는 OOD 성능을 최대 21% 저하시킴(DPO 대비 큰 대조).
최고 변형 DocAtlas-DeepSeek가 최강 베이스라인 대비 +1.7% 향상.

💭 의의 및 한계

**의의**: 멀티링구얼 문서 이해의 데이터·학습 두 축을 동시에 발전시키며, "SFT vs DPO"가 적응 안정성에 미치는 영향에 대한 실증적 지침을 제공. **한계**: 렌더링 가능한 native 포맷이 필요한 언어/스크립트에 의존하며, 손글씨·복잡 레이아웃은 본문 범위 밖.

🚀 실용적 활용

정부·금융·법률 문서의 다국어 OCR 시스템 개선.
저자원 언어의 신규 OCR 데이터셋 부트스트랩 도구.
DPO 기반 안전한 멀티링구얼 적응이 필요한 실세계 배포 파이프라인.