When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors

While large language models (LLMs) perform well on table tasks, they still make data referencing errors (DREs), i.e., incorrectly citing or omitting table values, despite understanding the table structure. Beyond final-answer accuracy, DREs directly compromise the correctness and reliability of intermediate reasoning steps. Yet prior studies have only offered limited, small-scale analyses. In this work, we present the first systematic evaluation of tabular data referencing errors across different models and tasks. Our results show that DREs occur across all tested models (1.7B to 20B parameters). Furthermore, we demonstrate that incorporating data referencing as a critic significantly improves answer accuracy up to 12.0%, through critic-based filtering and rejection sampling. Finally, we trained a lightweight 4B-parameter critic model that achieves an average F1 score of 78.2% in detecting both in-distribution and out-of-distribution DREs, and effectively assists inference for larger models.

한 줄 요약

대규모 언어 모델(LLM)이 테이블 데이터를 참조하는 과정에서 발생하는 DRE를 체계적으로 평가하고, 4B 파라미터 크리틱 모델을 통해 최대 12.0%의 정확도 향상을 달성했다.

핵심 기여도

DRE(DREs: Data Referencing Errors)를 체계적으로 평가한 최초의 연구로, 1.7B~20B 파라미터 모델에서 일관된 발생률을 확인.
크리틱 기반 필터링과 거부 샘플링을 통해 최대 12.0%의 정확도 향상.
4B 파라미터 크리틱 모델을 학습하여, in-distribution 및 out-of-distribution DRE 감지에서 평균 F1 78.2% 달성.
Qwen3-8B와 비교해도 크리틱 모델이 DRE 감지에서 8.65%의 F1 개선.

핵심 아이디어

DRE는 테이블 구조를 이해하더라도 테이블 값이 잘못 인용되거나 누락되는 오류로, 기존 연구는 한정된 분석에 머물렀다. 본 연구는 DRE를 두 가지 유형—Incorrect Citation과 Omitted Information으로 분류하고, LLM-as-a-Judge 프레임워크를 활용해 자동 평가를 수행했다. 크리틱 모델은 DRE 감지에 특화되어 있으며, 이는 단순 정답 정확도 기반 평가보다 중간 추론 단계의 신뢰도를 높인다. 특히, 크리틱 기반 필터링과 거부 샘플링은 DRE를 줄이며 최종 정확도를 향상시키는 효과적인 전략으로 제시된다.

기술적 접근법

**DRE 탐지**: Sonnet-3.7을 사용한 LLM-as-a-Judge 프레임워크로, 테이블 기반 질문에 대한 모델 응답을 검증.
**크리틱 기반 필터링**: Qwen3-8B에서 8개의 샘플 응답을 생성하고, DRE가 가장 적은 응답을 선택.
**거부 샘플링**: “Wait” 토큰을 기준으로 응답을 분할하고, DRE가 포함된 부분만 재샘플링. 최대 8회 반복.
**크리틱 모델 학습**: Qwen3-8B의 WTQ 학습 데이터를 기반으로, 2단계 학습(감독 학습 + RLVR)을 통해 4B 크리틱 모델 학습.

주요 결과

Qwen3-8B 모델에서 WTQ 데이터셋에서 DRE 발생률은 14.04%로, 크리틱 적용 후 12.50%로 감소.
크리틱 기반 필터링을 적용하면 최종 정확도가 최대 12.0% 향상.
4B 크리틱 모델은 in-distribution 및 out-of-distribution DRE 감지에서 평균 F1 78.2% 달성.
Qwen3-4B-Instruct 대비 8.65%의 F1 개선.

의의 및 한계

본 연구는 DRE를 체계적으로 평가하고, 이를 줄이는 실용적 전략을 제시함으로써 테이블 기반 추론의 신뢰도를 높이는 데 기여한다. 특히, 4B 크리틱 모델은 대규모 모델을 사용하지 않고도 DRE 감지를 효과적으로 수행할 수 있다는 점에서 실용적 가치가 있다. 그러나 합성 데이터로 학습한 크리틱 모델은 도메인 간 일반화 능력이 제한되며, 실제 오류를 학습하지 못한 경우 성능 저하가 발생할 수 있다. 또한, DRE는 모델의 지식 또는 추론 능력의 근본적 한계가 아닌, 피할 수 있는 오류임을 밝혔으나, 이를 일관되게 감소시키는 방법은 여전히 개방된 문제이다.

실용적 활용

본 연구는 금융, 의료, 과학 분야에서 테이블 기반 정보를 처리하는 LLM의 신뢰도를 향상시키는 데 활용될 수 있다. 특히, 4B 크리틱 모델은 추론 비용을 낮추면서도 DRE 감지를 효과적으로 수행할 수 있어, 리소스 제약이 있는 환경에서 유용하다. 또한, 크리틱 기반 필터링과 거부 샘플링은 대규모 모델의 추론 과정을 개선하는 보조 도구로 활용될 수 있다.