PaDoc: Layout-Grounded Parallel Decoding for Document Parsing

End-to-end document parsers provide a unified interface, but serialize page layouts and regional contents into one autoregressive sequence. This formulation forces independent regions onto a decoding path whose length grows with the total content, whereas crop-based two-stage parsers expose region-level parallelism at the cost of repeated visual prefills and fragmented page context. To retain full-page context while removing dependencies, we propose PaDoc, a layout-grounded parser that treats the predicted layout as a branching structure over a shared page representation. Under a region-sufficiency assumption, we derive a prefix-conditioned factorization in which the layout stream and regional content branches advance concurrently, reducing the decoding depth to the longest layout-content path. We realize this factorization within a single MLLM: packed variable-length ancestor attention preserves the visibility under standard next-token training, while masked parallel decoding creates branches that the evaluated vLLM backend serves as concurrent requests with cache-resident shared-prefix reuse. On OmniDocBench Full, PaDoc attains an Overall layout F1 of 91.1 and, among end-to-end parsers, a top-tier Overall score of 94.24 together with the best Text Edit (0.038) and Formula CDM (95.59). On a 384-page subset and one A800 GPU, it is the fastest end-to-end parser at five concurrency levels, improving valid-page throughput by 67.4-118% and reducing P95 latency by 39.2-54.9% relative to a same-backbone Sequential SFT baseline. Code is available at https://github.com/Longin-Yu/Padoc

한 줄 요약

PaDoc은 레이아웃 기반 병렬 디코딩을 통해 문서 파싱의 처리 속도와 정확도를 동시에 향상시킨 단일 MLLM 기반 모델이다.

핵심 기여도

레이아웃-기반 병렬 디코딩을 도입하여 디코딩 깊이를 최대 레이아웃-콘텐츠 경로로 줄임.
Ancestor attention과 packed variable-length 구현으로 표준 next-token 학습을 유지하면서 병렬 분기 생성.
A800 GPU에서 5개 동시성 수준에서 가장 빠른 end-to-end 파서로, 처리량 67.4–118%, P95 latency 39.2–54.9% 개선.
2.1B 파라미터 크기로 1.0B HunyuanOCR-1.5를 모든 동시성 수준에서 초과.

핵심 아이디어

기존 문서 파서는 레이아웃과 콘텐츠를 하나의 자동회귀 시퀀스로 직렬화하여 독립적인 영역 간 병렬 처리가 어려웠다. PaDoc은 페이지 전체의 공유된 표현 위에 레이아웃을 분기 구조로 취급하고, **region-sufficiency 가정** 하에 **prefix-conditioned factorization**을 유도한다. 이는 레이아웃 스트림과 콘텐츠 분기들이 동시에 진행되도록 하여, 디코딩 깊이를 전체 콘텐츠 길이가 아닌 최장 레이아웃-콘텐츠 경로로 줄인다. 이 접근법은 **crop-based 파서의 반복 시각 인코딩 문제**와 **자연스러운 페이지 맥락 손실**을 동시에 해결한다.

기술적 접근법

**Packed variable-length ancestor attention**: 각 분기에서 이미지와 적절한 레이아웃 조상만 노출시키며, sibling 콘텐츠는 제외.
**Masked parallel decoding**: region-closing token을 사용해 동일한 조상 가시성 하에 분기 격리된 콘텐츠 스트림을 생성.
**vLLM 백엔드**: 병렬 요청으로 처리하며, 공유된 이미지 및 레이아웃 prefix를 cache-resident로 재사용.
**모델 초기화**: Qwen3-VL-2B 체크포인트에서 직접 초기화 후, continual pre-training (CPT)과 high-quality supervised fine-tuning (SFT)로 모듈 전체를 적응.

주요 결과

**OmniDocBench Full**에서 전체 레이아웃 F1 91.1 달성.
end-to-end 파서 중 전체 점수 94.24, Text Edit 0.038, Formula CDM 95.59로 최상위 성능.
A800 GPU에서 5개 동시성 수준에서 처리량 67.4–118% 증가, P95 latency 39.2–54.9% 감소 (Sequential SFT 기준).
2.1B 파라미터 크기로 1.0B HunyuanOCR-1.5를 모든 동시성 수준에서 초과.

의의 및 한계

PaDoc은 단일 MLLM 내에서 레이아웃-기반 병렬 디코딩을 구현함으로써, **시각 맥락 유지**와 **병렬 처리 효율성**을 동시에 달성한다. 기존 두 단계 파서의 반복 인코딩 문제와 end-to-end 파서의 직렬 디코딩 문제를 해결하며, **표준 next-token 학습을 유지**하면서 복잡한 head 구조 없이 학습 가능하다는 점에서 학술적 의의가 있다. 다만, **2.1B 파라미터 크기**로 인해 소규모 GPU 환경에서는 메모리 부담이 있을 수 있으며, **region-sufficiency 가정**이 항상 성립하지 않을 경우 성능 저하 가능성도 존재한다.

실용적 활용

PaDoc은 대규모 문서 처리가 필요한 **PDF/문서 분석 플랫폼**, **OCR 서비스**, **전자정부 시스템** 등에서 빠른 처리 속도와 높은 정확도를 요구하는 상황에 적합하다. 특히, **병렬 처리가 필요한 고 동시성 환경**에서 기존 파서 대비 **성능-효율성의 균형**을 유지하면서 처리량을 크게 향상시킬 수 있다.