TableBench: A Comprehensive and Complex Benchmark for Table Question Answering

Recent advancements in Large Language Models (LLMs) have markedly enhanced the interpretation and processing of tabular data, introducing previously unimaginable capabilities. Despite these achievements, LLMs still encounter significant challenges when applied in industrial scenarios, particularly due to the increased complexity of reasoning required with real-world tabular data, underscoring a notable disparity between academic benchmarks and practical applications. To address this discrepancy, we conduct a detailed investigation into the application of tabular data in industrial scenarios and propose a comprehensive and complex benchmark TableBench, including 18 fields within four major categories of table question answering (TableQA) capabilities. Furthermore, we introduce TableLLM, trained on our meticulously constructed training set TableInstruct, achieving comparable performance with GPT-3.5. Massive experiments conducted on TableBench indicate that both open-source and proprietary LLMs still have significant room for improvement to meet real-world demands, where the most advanced model, GPT-4, achieves only a modest score compared to humans.

한 줄 요약

TableBench는 18개 분야의 복잡한 TableQA 능력을 평가하는 새로운 벤치마크로, GPT-4조차 인간 수준에 도달하지 못함을 보여준다.

핵심 기여도

TableBench: 18개 분야, 886개 샘플로 구성된 인간 주석된 TableQA 벤치마크 제안.
TableInstruct: 3가지 추론 방식(TCoT, SCoT, PoT)을 포함한 대규모 TableQA 지시 데이터셋.
TableLLM: TableInstruct 기반으로 훈련된 모델로, GPT-3.5 수준의 성능 달성.
30개 이상의 LLM 평가: GPT-4조차 인간 수준에 크게 못 미침을 밝혀냄.

핵심 아이디어

기존 테이블 QA 벤치마크는 실제 산업 시나리오의 복잡한 추론 요구를 반영하지 못한다는 문제점을 지적하며, TableBench를 제안한다. 이는 18개 분야에 걸쳐 886개의 샘플로 구성되며, 각 샘플은 실제 세계에서 필요한 다단계 추론을 요구한다. TableInstruct는 텍스트, 기호, 프로그래밍 기반의 3가지 추론 방식을 포함하여, 다양한 추론 능력을 평가할 수 있도록 설계되었다. TableLLM은 TableInstruct를 기반으로 훈련되어, GPT-3.5 수준의 성능을 달성하며, 테이블 데이터 처리 능력을 평가하는 강력한 기준이 된다.

기술적 접근법

**TableBench**: 18개 분야, 886개 샘플로 구성된 인간 주석된 TableQA 데이터셋.
**TableInstruct**: 3가지 추론 방식(TCoT, SCoT, PoT)을 포함한 대규모 지시 데이터셋.
**TableLLM**: TableInstruct 기반으로 훈련된 모델로, GPT-3.5 수준의 성능을 달성.
**추론 방식**:
**TCoT**: 텍스트 기반 단계적 추론.
**SCoT**: 프로그래밍 명령어를 활용한 기호적 추론.
**PoT**: 실행 가능한 코드를 생성하여 결과 도출.

주요 결과

GPT-4는 TableBench에서 인간 수준에 크게 못 미치는 점이 드러남.
TableLLM은 GPT-3.5와 유사한 성능을 보임.
30개 이상의 LLM 평가 결과, 대부분의 모델이 실용적 요구를 충족하지 못함.
TableBench는 4개 주요 벤치마크 태스크에서 모델 성능을 정량적으로 평가함.

의의 및 한계

TableBench는 테이블 QA 분야에서 학술적 연구와 실제 산업 요구 사이의 격차를 줄이는 데 기여한다. 특히, 다단계 추론과 복잡한 데이터 처리 능력을 평가하는 데 유용하다. 그러나 TableBench는 인간 주석에 의존하므로, 주관적 오류 가능성은 남아 있다. 또한, 일부 산업 시나리오의 특수성을 완전히 반영하지 못할 수 있다.

실용적 활용

TableBench는 재무, 의료, 경영 분석 등 테이블 데이터를 다루는 산업에서 모델 성능을 평가하는 데 활용 가능하다. TableInstruct는 테이블 QA 모델의 훈련 데이터로 사용될 수 있으며, TableLLM은 기존 LLM보다 테이블 데이터 처리에 특화된 모델로 활용 가능하다.