WeVisDoc: From Coverage to Capability for Robust End-to-End Document Parsing

Document parsing converts document images into structured content and requires reliable performance across diverse layouts and acquisition conditions. Yet training corpora are biased toward common document types and clean digital pages, while expanding coverage alone does not specify how to address a parser's remaining weaknesses. We present WeVisDoc, a two-stage data-centric framework for robust end-to-end document parsing. Stage I broadens semantic, structural, and appearance coverage through heterogeneous data and structure-preserving degradation synthesis. Stage II uses a held-out probe to measure the Stage I parser's residual errors within fixed visual-structural clusters. These diagnostics guide targeted data construction and reallocation of the target-token budget. WeVisDoc-4B achieves an Overall score of 95.38 on OmniDocBench v1.6 and a mean Overall score of 75.54 across the three PureDocBench tracks, ranking first among the compared end-to-end parsers in all four settings. Compared with Stage I, Stage II improves Overall scores for the 2B and 4B models on both benchmarks, with larger gains on the degraded PureDocBench tracks, including a 4.03-point gain for the 4B model on the Real Degraded track.

한 줄 요약

WeVisDoc은 두 단계의 데이터 중심 프레임워크로, 다양한 문서 파싱 성능을 95.38 (OmniDocBench v1.6)까지 향상시킨다.

핵심 기여도

Stage I: 이질적 데이터와 구조 보존형 퇴화 합성으로 의미, 구조, 외형 커버리지를 확장 (약 4천만 개 레코드).
Stage II: Stage I 파서의 잔여 오류를 고정된 시각-구조 클러스터 내에서 측정하는 독립적 probe 사용.
WeVisDoc-4B 모델이 OmniDocBench v1.6에서 95.38, PureDocBench 평균 75.54 달성하며 1위.
Stage II는 4B 모델에서 Real Degraded 트랙에서 4.03 포인트 개선.

핵심 아이디어

기존 문서 파서는 훈련 데이터가 특정 문서 유형에 편향되어 있고, 단순히 커버리지를 넓히는 것만으로는 잔여 오류를 해결하기 어렵다. WeVisDoc은 이 문제를 두 단계로 분리해 해결한다. Stage I은 의미, 구조, 외형의 다차원 커버리지를 확장하기 위해 이질적 데이터와 구조 보존형 퇴화 합성을 결합한다. Stage II는 Stage I 파서의 잔여 오류를 측정하는 독립적인 probe를 사용해, 특정 클러스터 내에서 오류가 발생하는지 분석하고, 이를 바탕으로 데이터를 재할당한다. 이는 단순히 더 많은 데이터를 추가하는 것이 아니라, 파서의 약점을 정확히 파악해 개선하는 방식이다.

기술적 접근법

**Stage I**: 약 4천만 개의 레코드로 이질적 데이터, 실행 가능한 페이지 합성, 소스 조건에 따른 외형 생성을 결합.
**Stage II**: Stage I 파서의 잔여 오류를 측정하는 독립적인 probe를 사용.
**Target-token budget**: Stage I과 Stage II는 각각 고정된 target-token 예산을 사용.
**모델**: Qwen3-VL-Instruct 기반으로 2B, 4B 규모로 구현.
**평가**: OmniDocBench v1.6과 PureDocBench 3개 트랙에서 평가.

주요 결과

WeVisDoc-4B는 OmniDocBench v1.6에서 Overall 점수 95.38 달성.
PureDocBench 3개 트랙 평균 Overall 점수 75.54로 1위.
Stage II는 2B, 4B 모델 모두에서 OmniDocBench와 PureDocBench에서 개선.
특히 Real Degraded 트랙에서 4B 모델은 Stage I 대비 4.03 포인트 개선.

의의 및 한계

WeVisDoc은 문서 파서의 커버리지와 성능을 동시에 개선하는 데이터 중심 접근법으로, 기존 모델 대비 높은 정확도를 달성했다. 특히 Stage II의 잔여 오류 분석과 데이터 재할당은 파서의 약점을 정확히 파악해 개선하는 데 기여한다. 그러나 현재의 성과는 주로 기존 벤치마크와 합성 퇴화 데이터에 의존하며, 실제 손글씨나 역사적 스캔 문서 등은 아직 충분히 평가되지 않았다. 또한, Stage II의 재균형 조정은 probe 세트, 표현 모델, 클러스터링 선택 등에 따라 달라질 수 있으며, 추가 계산 비용이 발생한다.

실용적 활용

WeVisDoc은 문서 처리가 필요한 산업, 예를 들어 금융, 법률, 보험 분야에서 신뢰성 높은 문서 파서로 활용 가능하다. 특히 퇴화된 문서나 다양한 레이아웃을 처리해야 하는 상황에서 효과적이다. 또한, 데이터 중심의 개선 프로토콜은 다른 시각-언어 모델의 성능 향상에도 적용될 수 있다.