MMLongBench-Doc: Benchmarking Long-context Document Understanding with Visualizations

Understanding documents with rich layouts and multi-modal components is a long-standing and practical task. Recent Large Vision-Language Models (LVLMs) have made remarkable strides in various tasks, particularly in single-page document understanding (DU). However, their abilities on long-context DU remain an open problem. This work presents MMLongBench-Doc, a long-context, multi-modal benchmark comprising 1,062 expert-annotated questions. Distinct from previous datasets, it is constructed upon 130 lengthy PDF-formatted documents with an average of 49.4 pages and 20,971 textual tokens. Towards comprehensive evaluation, answers to these questions rely on pieces of evidence from (1) different sources (text, image, chart, table, and layout structure) and (2) various locations (i.e. page number). Moreover, 33.2% of the questions are cross-page questions requiring evidence across multiple pages. 22.8% of the questions are designed to be unanswerable for detecting potential hallucinations. Experiments on 14 LVLMs demonstrate that long-context DU greatly challenges current models. Notably, the best-performing model, GPT-4o, achieves an F1 score of only 42.7%, while the second-best, GPT-4V, scores 31.4%. Furthermore, 12 LVLMs (all except GPT-4o and GPT-4V) even present worse performance than their LLM counterparts which are fed with lossy-parsed OCR documents. These results validate the necessity of future research toward more capable long-context LVLMs. Project Page: https://mayubo2333.github.io/MMLongBench-Doc

한 줄 요약

MMLongBench-Doc은 135개의 긴 PDF 문서를 기반으로 구성된 다중 모달, 장문 문서 이해 평가 벤치마크로, 14개 LVLM 모델의 성능을 평가하여 GPT-4o가 44.9% F1 점수를 기록하는 등 현재 LVLM의 한계를 드러냄.

핵심 기여도

MMLongBench-Doc: 135개의 평균 47.5페이지 긴 PDF 문서를 기반으로 1,082개의 전문가가 주석한 질문 포함한 다중 모달 벤치마크 제시.
33.7%의 질문이 다중 페이지 증거를 요구하며, 20.6%는 비답변 질문으로 홀로주기 감지.
14개 LVLM 모델 실험 결과, GPT-4o가 44.9% F1 점수로 가장 높은 성능을 보임.
12개 LVLM이 OCR+LLM 파이프라인보다 낮은 성능을 보여 장문 문서 이해의 어려움을 입증.

핵심 아이디어

기존 문서 이해 데이터셋은 대부분 단일 페이지에 초점, 실제 문서는 수십~수백 페이지로 구성되어 있어 장문 문서 이해 능력 평가가 필요하다는 문제 인식.
이에 따라 MMLongBench-Doc은 실제 문서의 복잡한 레이아웃과 다중 모달 정보(텍스트, 차트, 표, 이미지, 레이아웃 구조)를 반영한 135개의 긴 PDF 문서를 기반으로 구성.
질문은 단일 페이지, 다중 페이지, 비답변 질문으로 세분화되어 LVLM의 정확한 정보 추출 능력과 홀로주기 감지를 동시에 평가.
이러한 접근은 기존 단일 페이지 중심의 평가 벤치마크와 차별화되며, 장문 문서 처리 능력의 진정한 평가를 가능하게 함.

기술적 접근법

**데이터셋 구성**: 135개의 PDF 문서, 평균 47.5페이지, 21,214.1 텍스트 토큰.
**질문 유형**: 494개의 단일 페이지 질문, 365개의 다중 페이지 질문, 223개의 비답변 질문.
**평가 프로토콜**: 3단계 (response generation, answer extraction, score calculation)으로 구성.
**평가 모델**: GPT-4o 기반의 answer extractor와 rule-based score calculator 사용.
**실험 설정**: 14개 LVLM (4개 프로퍼리어리, 10개 오픈소스)과 10개 LLM 비교 실험.
**입력 방식**: 문서는 페이지별 스크린샷으로 LVLM에 입력, OCR 텍스트로 변환된 문서는 LLM에 입력.

주요 결과

GPT-4o: 44.9% F1 점수 (가장 높음), GPT-4V: 30.5% F1 점수.
12개 LVLM이 OCR+LLM 파이프라인보다 낮은 성능 보임.
Gemini-1.5-Pro: OCR 텍스트 입력 시 4.2% 점수 감소, Claude-3-Opus: 6.4% 감소.
오픈소스 모델 중 최고 LVLM은 최고 LLM 대비 11.7% 점수 낮음.
33.7%의 질문이 다중 페이지 증거를 요구, 20.6%는 비답변 질문으로 홀로주기 감지.

의의 및 한계

MMLongBench-Doc은 장문 문서 이해 능력을 체계적으로 평가할 수 있는 첫 번째 다중 모달 벤치마크로, LVLM의 장문 처리 능력 부족을 명확히 드러냄.
이 연구는 향후 LVLM이 장문 문서를 효과적으로 처리할 수 있도록 하는 기술 개발을 촉진할 것으로 기대됨.
한계로는 벤치마크가 특정 도메인에 치우쳐 있을 수 있으며, 실제 산업 문서와의 일치도가 명시되지 않음.
또한, OCR 텍스트 기반 LLM이 LVLM보다 높은 성능을 보이는 점은 LVLM의 시각 정보 처리 능력 개선이 필요함을 시사.

실용적 활용

MMLongBench-Doc은 금융, 법률, 의료 등 장문 문서를 다루는 산업에서 문서 자동화, 정보 추출, 법적 검토 등에 활용 가능.
또한, LVLM 모델 개발자들이 장문 문서 이해 능력을 개선하기 위한 연구 및 개발에 중요한 기준이 될 수 있음.