Spatial Priming Outperforms Semantic Prompting: A Grid-Based Approach to Improving LLM Accuracy on Chart Data Extraction

The automated extraction of data from scientific charts is a critical task for large-scale literature analysis. While multimodal Large Language Models (LLMs) show promise, their accuracy on non-standardized charts remains a challenge. This raises a key research question: what is the most effective strategy to improve model performance (high-level semantic priming) or low-level spatial priming? This paper presents a comparative investigation into these two distinct strategies. We describe our exploratory experiments with semantic methods, such as a two-stage metadata-first framework and Chain-of-Thought, which failed to produce a statistically significant improvement. In contrast, we present a simple but highly effective spatial priming method: overlaying a coordinate grid onto the chart image before analysis. Our quantitative experiment on a synthetic dataset demonstrates that this grid-based approach provides a statistically significant reduction in data extraction error (SMAPE reduced from 25.5% to 19.5%, p < 0.05) compared to a baseline. We conclude that for the current generation of multimodal models, providing explicit spatial context is a more effective and reliable strategy than high-level semantic guidance for this class of tasks.

📋 한 줄 요약

**[Multimodal LLM / Chart Understanding]** 차트 이미지에 좌표 그리드를 오버레이하는 단순한 '공간 프라이밍'이 의미 기반 프롬프팅보다 차트 데이터 추출 정확도를 통계적으로 유의미하게 향상시킴을 보였다.

🎯 핵심 기여도

차트 데이터 추출에서 '의미 프라이밍' vs '공간 프라이밍'의 비교 연구 수행
2단계 메타데이터 우선 프레임워크와 Chain-of-Thought 같은 의미 기반 방법이 유의미한 개선을 보이지 않음을 확인
차트 이미지 위에 좌표 그리드를 오버레이하는 단순한 공간 프라이밍 기법 제안
합성 데이터셋 실험으로 SMAPE 25.5%→19.5%(p<0.05)의 통계적으로 유의미한 개선 입증

💡 핵심 아이디어

현재 멀티모달 LLM은 '무엇을 추출해야 한다'는 의미적 가이드보다, '어디를 봐야 한다'는 명시적 공간 컨텍스트(좌표 그리드)에 더 잘 반응한다는 관찰이 핵심이다.

🔬 기술적 접근법

**모델/방법론**: 멀티모달 LLM에 차트 이미지를 입력하기 전 좌표 그리드를 오버레이하는 전처리
**핵심 기법**: 의미 기반 비교 대상으로 2단계 메타데이터 우선 프레임워크와 Chain-of-Thought 사용, 합성 차트 데이터셋에서 SMAPE 메트릭으로 정량 비교

📊 주요 결과

그리드 오버레이 적용 시 SMAPE 25.5% → 19.5%로 감소 (p<0.05)
의미 기반 방법(메타데이터 우선, CoT)은 통계적으로 유의미한 개선 없음
단순한 공간 신호가 복잡한 의미 가이드보다 효과적임을 입증

💭 의의 및 한계

**의의**: 현 세대 멀티모달 모델의 공간 추론 한계를 드러내고, 저비용 전처리만으로도 큰 성능 향상이 가능함을 보인다. **한계**: 합성 데이터셋 기반이며, 실제 다양한 스타일의 비표준 차트(로그 스케일, 3D, 이중축 등)에서의 일반화는 추가 검증이 필요하다.

🚀 실용적 활용

대규모 과학 문헌 자동 분석 파이프라인
재무 보고서·시장 자료의 차트 데이터 자동 추출
멀티모달 모델의 시각 그라운딩 강화 기법으로 확장