WildTableBench: Benchmarking Multimodal Foundation Models on Table Understanding In the Wild

Using multimodal foundation models to analyze table images is a high-value yet challenging application in consumer and enterprise scenarios. Despite its importance, current evaluations rely largely on structured-text tables or clean rendered images, leaving the visual complexity of in-the-wild table images underexplored. Such images feature varied layouts and diverse domains that demand sophisticated structural perception and numerical reasoning. To bridge this gap, we introduce WildTableBench, the first question-answering benchmark for naturally occurring table images from real-world settings. WildTableBench comprises 402 high-information-density table images collected from online forums and websites across diverse domains, together with 928 manually annotated and verified questions spanning 17 subtypes across five categories. We evaluate 21 frontier proprietary and open-source multimodal foundation models on this benchmark. Only one model exceeds 50% accuracy, while all remaining models range from 4.1% to 49.9%. We further conduct diagnostic analyses to characterize model failures and reveal persistent weaknesses in structural perception and reasoning. These results and analyses provide useful insights into current model capabilities and establish WildTableBench as a valuable diagnostic benchmark for table image understanding.

📋 한 줄 요약

**[멀티모달 평가 / 벤치마크]** 실제 환경에서 수집된 자연스러운 테이블 이미지로 멀티모달 파운데이션 모델을 평가하는 최초의 in-the-wild 표 이해 QA 벤치마크 WildTableBench 공개.

🎯 핵심 기여도

구조화 텍스트 테이블이나 깔끔한 렌더링 이미지에 치우친 기존 평가의 한계를 진단하고, 다양한 레이아웃·도메인을 가진 실제 테이블 이미지 평가 공백을 정의.
온라인 포럼·웹사이트에서 수집한 402개 고밀도 정보 테이블 이미지 + 5개 카테고리 17 서브타입에 걸친 928개의 사람이 직접 주석·검증한 질문으로 벤치마크 구축.
21개 프론티어 proprietary/open-source 멀티모달 파운데이션 모델 평가에서 50% 이상 정확도를 달성한 모델이 단 1개뿐, 나머지는 4.1%~49.9%에 머문다는 사실을 정량 보고.
진단 분석을 통해 구조 인식(structural perception)과 수치 추론에서 모델들의 공통적 약점을 특성화.

💡 핵심 아이디어

"표 이해"는 깨끗한 HTML 표를 잘 읽는 능력이 아니라, 실제 웹·문서에서 변형·왜곡·노이즈가 섞인 이미지를 구조적으로 파싱하고 수치 추론까지 수행하는 능력이라는 시각을 평가에 반영.

🔬 기술적 접근법

**모델/방법론**: 자연 수집 테이블 이미지 + 5개 카테고리 17 서브타입 QA 셋, 21개 멀티모달 LLM을 동일 프로토콜로 평가.
**핵심 기법**: 고밀도·다양 레이아웃 이미지 큐레이션, 사람이 직접 주석·검증한 928 질문, 구조 인식·수치 추론·도메인 영향 등을 분해하는 진단 분석.

📊 주요 결과

21개 평가 모델 중 단 1개만이 50% 정확도 초과.
나머지 모델은 4.1%~49.9% 범위에 분산.
진단 분석에서 구조 인식 실패와 수치 추론 오류가 주요 실패 유형으로 확인.

💭 의의 및 한계

**의의**: 현실 응용(영수증·재무 보고서·웹 게시물)에서 멀티모달 LLM의 실제 사용 가능성을 측정하는 새 진단 도구를 제공. **한계**: 이미지 출처가 온라인 공개 자료에 편중, 비영어권·복잡 비주얼 차트 등으로의 확장은 후속 과제.

🚀 실용적 활용

멀티모달 LLM 성능 추적용 표준 벤치마크.
기업·소비자 시나리오에서 표 이해 응용 도입 전 모델 선별.
구조 인식·수치 추론 약점에 초점을 둔 후속 학습·미세조정 가이드.