SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding

Vision language models (VLMs) have achieved strong performance on visual document understanding benchmarks such as DocVQA, ChartQA, and MMLongBench-Doc. However, real-world documents combine multiple factors such as length, layout complexity, modality, and question difficulty, which makes it difficult to attribute model failures to specific causes. We introduce SynthDocBench, a fully synthetic benchmark for long-context visual document understanding that systematically controls factors including document length, layout structure, modality composition, and question type. The benchmark is constructed using a combinatorial design, each factor is varied independently across generated documents, enabling controlled analysis of model behavior. Documents are generated end to end using an LLM pipeline across six layout archetypes, with a 40 percent random override to prevent models from exploiting spurious correlations. Additionally, SynthDocBench spans long-context documents with substantially greater length and structural diversity than existing benchmarks. Evaluating seven frontier VLMs, we uncover three failure modes that existing benchmarks cannot surface: sharp degradation with document length, a systematic positional sensitivity in which the middle third of a document is hardest for five of six models and five of six models show a negative Early-to-Late trend (steepest decline: 8.3 percentage points), and breakdown of chart comprehension in long-document settings. These results suggest that current models may be overfitting to benchmark artifacts rather than achieving robust long-context visual document understanding.

한 줄 요약

SynthDocBench는 문서 길이, 레이아웃, 모달리티 등을 독립적으로 제어하여 VLM의 장문 시각 문서 이해 실패 원인을 분석하는 첫 합성 벤치마크이다.

핵심 기여도

SynthDocBench: 문서 길이, 레이아웃, 모달리티, 질문 유형을 독립적으로 제어한 합성 벤치마크.
24개 D3.js 차트 유형과 6개 레이아웃 아키타입을 포함한 자동 생성 파이프라인 제공.
7개 최첨단 VLM 평가를 통해 급격한 성능 저하, 중간 구간 감도, 차트 해석 붕괴 등 3가지 실패 모드 발견.
GPT-5와 Gemini-3.1-Pro가 평가자로 사용되며, ACC ±3.5포인트 이내로 일관성 있음.

핵심 아이디어

기존 문서 이해 벤치마크는 실제 문서를 사용하므로 길이, 레이아웃, 모달리티 등 다양한 요인이 혼합되어 실패 원인을 분석하기 어려웠다. SynthDocBench는 이러한 요소들을 독립적으로 제어할 수 있도록 설계된 합성 벤치마크로, VLM이 장문 시각 문서를 처리할 때 나타나는 실패 원인을 정확히 규명할 수 있다.

모델은 렌더링된 페이지 이미지만 제공받으며, HTML, 메타데이터, 차트의 구조적 정보는 접근할 수 없다. 이는 모델이 실제 시각 정보만을 기반으로 추론해야 하도록 강제한다. 생성 파이프라인은 LLM 기반으로 차트를 D3.js로 렌더링하고, 정답을 생성하기 위한 메타데이터를 별도로 저장하여 정확한 정답을 보장한다.

기술적 접근법

**SynthDocBench 구성 요소**: 3개의 질문 유형(24개 차트 유형, cross_modal, complex)으로 구성.
**생성 파이프라인**: LLM 기반으로 문서 생성. 6개 레이아웃 아키타입과 24개 차트 유형을 포함.
**평가 프로토콜**: vision-only. 모델은 렌더링된 페이지 이미지만 입력으로 받음.
**평가 지표**: GPT-5가 정답과 모델 응답을 비교하여 0~10점 범위의 점수를 부여. ACC(τ=6)와 평균 점수를 사용.
**하이퍼파라미터**: 144 DPI로 렌더링, 최대 120페이지, 5페이지 단위로 결합 (최대 7,900px, 4MB).

주요 결과

**모델 성능**: Gemini-3.1-Pro가 전체 ACC 0.725, 평균 점수 7.19로 가장 높은 성능.
**실패 모드 1**: 증거 복잡도와 추론 깊이(L1 → L5)가 증가함에 따라 성능 급격히 저하.
**실패 모드 2**: 6개 모델 중 5개가 문서 중간 구간에서 가장 낮은 성능. 5개 모델이 Early → Late 트렌드에서 음수 성능 감소 (최대 -8.3pp).
**실패 모드 3**: 장문 문서 내에서 정확한 차트 해석 능력이 붕괴됨.

의의 및 한계

SynthDocBench는 VLM이 실제 문서에서 실패하는 원인을 분리해내는 첫 번째 합성 벤치마크로, 모델 진단과 개선에 중요한 도구가 될 수 있다. 특히, 기존 벤치마크에서는 드러나지 않는 실패 모드를 밝혀내며, 모델의 장문 시각 추론 능력과 실제 성능 간 격차를 드러낸다.

하지만, SynthDocBench는 합성 문서를 기반으로 하므로 실제 문서와의 일반화 가능성은 제한적이다. 또한, 문서 길이와 레이아웃의 제어는 모델의 실제 활용 환경과 다를 수 있어, 향후 실제 문서와의 결합된 평가가 필요하다.

실용적 활용

SynthDocBench는 VLM의 장문 시각 문서 이해 능력을 진단하고 개선하는 데 활용될 수 있다. 특히, 금융, 법적 문서, 학술 보고서 등 복잡한 레이아웃과 다양한 모달리티를 포함한 문서 분석에 적용 가능하다. 또한, 모델 개발자들이 실패 원인을 정확히 파악하여 성능을 개선하는 데 도움을 줄 수 있다.