mPLUG-DocOwl 1.5: Unified Structure Learning for OCR-free Document Understanding

Structure information is critical for understanding the semantics of text-rich images, such as documents, tables, and charts. Existing Multimodal Large Language Models (MLLMs) for Visual Document Understanding are equipped with text recognition ability but lack general structure understanding abilities for text-rich document images. In this work, we emphasize the importance of structure information in Visual Document Understanding and propose the Unified Structure Learning to boost the performance of MLLMs. Our Unified Structure Learning comprises structure-aware parsing tasks and multi-grained text localization tasks across 5 domains: document, webpage, table, chart, and natural image. To better encode structure information, we design a simple and effective vision-to-text module H-Reducer, which can not only maintain the layout information but also reduce the length of visual features by merging horizontal adjacent patches through convolution, enabling the LLM to understand high-resolution images more efficiently. Furthermore, by constructing structure-aware text sequences and multi-grained pairs of texts and bounding boxes for publicly available text-rich images, we build a comprehensive training set DocStruct4M to support structure learning. Finally, we construct a small but high-quality reasoning tuning dataset DocReason25K to trigger the detailed explanation ability in the document domain. Our model DocOwl 1.5 achieves state-of-the-art performance on 10 visual document understanding benchmarks, improving the SOTA performance of MLLMs with a 7B LLM by more than 10 points in 5/10 benchmarks. Our codes, models, and datasets are publicly available at https://github.com/X-PLUG/mPLUG-DocOwl/tree/main/DocOwl1.5.

한 줄 요약

DocOwl 1.5는 OCR-free 환경에서 10개의 문서 이해 벤치마크에서 기존 MLLM 대비 최대 10점 이상 성능 향상.

핵심 기여도

**Unified Structure Learning**을 제안하여 문서, 웹페이지, 표, 차트, 자연 이미지 5개 도메인에서 구조 인식 훈련을 통합.
**H-Reducer**라는 새로운 vision-to-text 모듈을 설계하여 수평 방향 인접 패치를 합쳐 시각 특징 길이를 1/4로 줄이면서 레이아웃 정보 유지.
**DocStruct4M**이라는 4M 규모의 훈련 데이터셋을 구축하여 구조 인식 학습을 지원.
**DocReason25K**라는 25K 규모의 추론 조정 데이터셋을 통해 문서 도메인에서의 상세 설명 능력을 유도.

핵심 아이디어

기존 MLLM은 텍스트 인식 능력은 갖추었으나, 텍스트가 풍부한 이미지의 구조를 이해하는 데 한계가 있었다. 이를 해결하기 위해, 구조 정보를 학습하는 **Unified Structure Learning**을 제안한다. 이는 문서, 웹페이지, 표, 차트, 자연 이미지 5개 도메인에서 **structure-aware parsing task**와 **multi-grained text localization task**를 수행함으로써, 텍스트의 구성 방식과 위치 정보를 동시에 학습한다.

구조 정보를 효과적으로 인코딩하기 위해, **H-Reducer**라는 vision-to-text 모듈을 설계했다. 이 모듈은 수평 방향 인접 패치를 합쳐 시각 특징 길이를 1/4로 줄이면서, 레이아웃 정보를 유지한다. 기존의 cross-attention 기반 모듈은 시각 정보를 합성하면서 공간 정보를 잃을 수 있지만, H-Reducer는 합성 없이 합성곱을 통해 공간 정보를 보존한다.

기술적 접근법

**H-Reducer**: 합성곱 레이어를 사용해 수평 방향 인접 4개 패치를 병합하여 시각 특징 길이를 1/4로 줄임.
**Shape-adaptive Cropping Module**: 고해상도 이미지를 여러 고정 크기의 서브 이미지로 자르고, 전역 이미지도 함께 인코딩.
**Modality-adaptive Module (MAM)**: 시각 및 텍스트 입력을 구분하기 위해 별도의 키/밸류 프로젝션 레이어를 사용.
**DocStruct4M**: 구조 인식을 위한 4M 규모의 훈련 데이터셋. 텍스트 시퀀스와 바운딩 박스 쌍을 포함.
**DocReason25K**: 추론 능력을 강화하기 위한 25K 규모의 조정 데이터셋.

주요 결과

**DocOwl 1.5**는 10개의 시각 문서 이해 벤치마크에서 기존 MLLM 대비 5개에서 10점 이상 성능 향상.
**H-Reducer**는 1x4 합성곱을 사용할 때 문서 및 표 데이터셋에서 가장 높은 성능을 보임.
**448² × 9 ≈ 2²¹** 해상도는 대부분의 벤치마크에서 충분한 성능을 제공.
**1x4 병합**은 문서 및 표에서 2x2 병합보다 더 높은 성능을 보이지만, 차트에서는 약간 낮은 성능.

의의 및 한계

**의의**: OCR-free 환경에서 구조 정보를 통합적으로 학습하는 첫 MLLM. 5개 도메인에서 구조 인식을 통합한 학습 프레임워크 제시.
**한계**: 차트와 같은 복잡한 시각 구조에서는 1x4 병합 방식이 제한적일 수 있음.
**추가 개선 필요**: 차트와 같은 비정형 구조를 더 효과적으로 인식하기 위한 모듈 개발 필요.

실용적 활용

**문서 분석 시스템**: OCR 없이도 문서, 웹페이지, 표, 차트를 이해할 수 있어 문서 자동화 분야에 활용 가능.
**교육 및 연구**: 텍스트가 풍부한 이미지의 구조를 자동으로 파싱하는 연구에 유용.
**고해상도 이미지 처리**: H-Reducer를 통해 고해상도 이미지를 효율적으로 처리할 수 있어 디지털 아카이브 분야에 적용 가능.