CharXiv: Charting Gaps in Realistic Chart Understanding in Multimodal LLMs
Zirui Wang, Mengzhou Xia, Luxi He, Howard Chen, Yitao Liu, Richard Zhu, Kaiqu Liang, Xindi Wu, Haotian Liu, Sadhika Malladi, Alexis Chevalier, Sanjeev Arora, Danqi Chen
arXiv:2406.18521 · 2026-07-27 공개 · arXiv · PDF
model-evaluation visual-reasoning multimodal-llms dataset-curation open-source-models proprietary-models chart-understanding arxiv-papers
Abstract
Chart understanding plays a pivotal role when applying Multimodal Large Language Models (MLLMs) to real-world tasks such as analyzing scientific papers or financial reports. However, existing datasets often focus on oversimplified and homogeneous charts with template-based questions, leading to an over-optimistic measure of progress. We demonstrate that although open-source models can appear to outperform strong proprietary models on these benchmarks, a simple stress test with slightly different charts or questions can deteriorate performance by up to 34.5%. In this work, we propose CharXiv, a comprehensive evaluation suite involving 2,323 natural, challenging, and diverse charts from arXiv papers. CharXiv includes two types of questions: 1) descriptive questions about examining basic chart elements and 2) reasoning questions that require synthesizing information across complex visual elements in the chart. To ensure quality, all charts and questions are handpicked, curated, and verified by human experts. Our results reveal a substantial, previously underestimated gap between the reasoning skills of the strongest proprietary model (i.e., GPT-4o), which achieves 47.1% accuracy, and the strongest open-source model (i.e., InternVL Chat V1.5), which achieves 29.2%. All models lag far behind human performance of 80.5%, underscoring weaknesses in the chart understanding capabilities of existing MLLMs. We hope CharXiv facilitates future research on MLLM chart understanding by providing a more realistic and faithful measure of progress. Project page and leaderboard: https://charxiv.github.io/
한국어 요약
한 줄 요약
CharXiv는 실제 과학 논문에서 추출한 2,323개의 다양한 차트를 기반으로 MLLM의 차트 이해 능력을 평가하는 새로운 벤치마크로, GPT-4o와 InternVL Chat V1.5 간 17.9%의 성능 격차를 드러낸다.
핵심 기여도
- CharXiv는 arXiv 논문에서 추출한 2,323개의 자연스럽고 다양한 차트를 포함하며, 인간 전문가가 직접 검증한 질문-답변 쌍을 제공.
- 기존 벤치마크 대비 34.5%의 성능 저하를 유발하는 간단한 스트레스 테스트를 제시.
- GPT-4o(47.1%)와 InternVL Chat V1.5(29.2%) 간 17.9%의 추론 질문 성능 격차를 명확히 밝힘.
- 모델이 차트의 서브플롯 수 증가에 따라 성능이 30–50% 감소하는 현상을 분석.
핵심 아이디어
기존 차트 이해 벤치마크는 템플릿 기반 질문과 단순한 차트에 의존하여 MLLM의 진정한 이해 능력을 과평가하고 있다. CharXiv는 실제 과학 논문에서 추출한 2,323개의 다양한 차트를 기반으로, 인간 전문가가 직접 검증한 질문을 통해 MLLM의 차트 이해 능력을 보다 정확하게 평가한다. 특히, CharXiv는 **기초적 차트 요소**(제목, 라벨, 눈금)에 대한 **기술적 질문**(descriptive questions)과, **복잡한 시각적 요소 간 정보 종합**이 필요한 **추론 질문**(reasoning questions)을 구분하여 평가한다. 이는 기존 벤치마크가 단일한 질문 유형에만 집중한 한계를 보완한다.
기술적 접근법
- **데이터셋 구성**: arXiv에서 추출한 2,323개의 차트, 8개 주요 과학 분야 포함.
- **질문 유형**:
- **기술 질문**: 차트의 제목, 라벨, 눈금 등 기본 정보 이해.
- **추론 질문**: 비교, 추정, 세부 분석 등 복잡한 추론이 필요한 질문.
- **평가 방법**: GPT-4o를 사용한 자동 평가. 정확성에 따라 이진 점수 부여.
- **모델 평가 대상**: 13개 오픈소스 모델과 11개 프로퍼티어리 모델.
- **응답 길이 분석**: 긴 응답이 오히려 성능에 부정적 영향을 미치는 현상 발견 (예: MoAI, Qwen VL Plus).
주요 결과
- **GPT-4o**: 추론 질문 정확도 47.1%, 기술 질문 84.5%.
- **InternVL Chat V1.5**: 추론 질문 정확도 29.2%, 기술 질문 58.5%.
- **인간 성능**: 추론 질문 80.5%, 기술 질문 92.1%.
- **성능 격차**: GPT-4o와 InternVL Chat V1.5 간 17.9%의 추론 질문 정확도 격차.
- **서브플롯 수 증가 시 성능 저하**: 6개 이상 서브플롯이 있는 차트에서 오픈소스 모델은 30–50% 감소, 프로퍼티어리 모델은 10–30% 감소.
- **도메인별 성능 차이**: 수학 도메인에서 InternVL Chat V1.5가 GPT-4V와 유사한 성능(39.26%)을 보이지만, 물리 및 전기공학 분야에서는 20% 이상의 격차 발생.
의의 및 한계
CharXiv는 기존 벤치마크의 단순화된 차트와 질문에 기반한 과도한 성능 평가를 지적하며, MLLM의 차트 이해 능력에 대한 보다 현실적인 평가 기준을 제시한다. 특히, 인간 전문가가 검증한 질문-답변 쌍을 통해 모델의 실제 추론 능력을 정확히 측정할 수 있다. 그러나 인간 평가가 필요한 점, 자동 생성 벤치마크 대비 높은 비용 및 유지 관리 어려움이 한계로 지적된다. 또한, 인간 정확도가 80.5%에 불과한 점은 평가 시스템 자체의 한계를 시사한다.
실용적 활용
CharXiv는 과학 논문 분석, 재무 보고서 해석, 뉴스 기사 분석 등 실제 세계에서 차트를 다루는 MLLM의 성능 평가에 활용 가능하다. 특히, 모델의 추론 능력과 서브플롯 처리 능력을 평가하는 데 유용하며, 차트 이해 기술의 진정한 발전을 측정하는 데 기여할 수 있다.