Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding

Table-based reasoning with large language models (LLMs) is a promising direction to tackle many table understanding tasks, such as table-based question answering and fact verification. Compared with generic reasoning, table-based reasoning requires the extraction of underlying semantics from both free-form questions and semi-structured tabular data. Chain-of-Thought and its similar approaches incorporate the reasoning chain in the form of textual context, but it is still an open question how to effectively leverage tabular data in the reasoning chain. We propose the Chain-of-Table framework, where tabular data is explicitly used in the reasoning chain as a proxy for intermediate thoughts. Specifically, we guide LLMs using in-context learning to iteratively generate operations and update the table to represent a tabular reasoning chain. LLMs can therefore dynamically plan the next operation based on the results of the previous ones. This continuous evolution of the table forms a chain, showing the reasoning process for a given tabular problem. The chain carries structured information of the intermediate results, enabling more accurate and reliable predictions. Chain-of-Table achieves new state-of-the-art performance on WikiTQ, FeTaQA, and TabFact benchmarks across multiple LLM choices.

한 줄 요약

Chain-of-Table은 테이블 기반 추론 과정에서 테이블 자체를 중간 사고의 매개체로 활용하여, LLM의 예측 정확도를 향상시키는 새로운 프레임워크이다.

핵심 기여도

Chain-of-Table 프레임워크를 제안하여, 테이블 기반 추론 과정에서 테이블을 중간 사고의 매개체로 활용함.
테이블 연산(예: 컬럼 추가, 행 선택, 그룹화 등)을 기반으로 LLM이 동적으로 다음 단계를 계획하도록 유도함.
WikiTQ, FeTaQA, TabFact 벤치마크에서 PaLM 2, GPT-3.5, LLaMA 2 모델 모두에서 최신 최고 성능(SOTA) 달성함.
WikiTQ에서 6.72%, TabFact에서 8.69%의 성능 향상 기록함.

핵심 아이디어

기존 Chain-of-Thought(CoT)는 추론 과정을 텍스트로 표현하지만, 테이블 기반 추론에서는 텍스트만으로는 테이블 구조의 복잡성을 포착하기 어렵다. Chain-of-Table은 테이블 자체를 추론 과정의 매개체로 활용하는 새로운 아이디어를 제시한다. 구체적으로, LLM은 테이블 연산(예: `select`, `group`, `add column`)을 생성하고, 이를 통해 테이블을 점진적으로 변형하며 추론 과정을 시각화한다. 이는 CoT의 추론 체인 개념을 테이블 구조로 확장한 것으로, 중간 결과를 구조화된 형태로 유지함으로써 추론의 신뢰도와 정확도를 높인다.

기술적 접근법

**LLM 유도 방식**: in-context learning을 활용하여, LLM이 테이블 연산을 생성하도록 유도함.
**테이블 연산**: SQL 및 DataFrame 개발에서 흔히 사용되는 `select`, `group`, `add column` 등의 연산을 정의함.
**동적 계획**: 이전 연산의 결과를 바탕으로 다음 연산을 동적으로 생성함.
**테이블 체인 형성**: 연산을 반복적으로 적용하여 테이블을 업데이트하고, 이를 체인 형태로 유지함.
**모델 선택**: PaLM 2, GPT-3.5, LLaMA 2-17B-chat 모델을 사용하여 실험함.

주요 결과

**WikiTQ**: Chain-of-Table은 PaLM 2 기반으로 6.72%의 성능 향상을 기록함.
**TabFact**: PaLM 2 기반으로 8.69%의 성능 향상을 기록함.
**FeTaQA**: BLEU, ROUGE-1, ROUGE-2, ROUGE-L 지표에서 기존 방법 대비 우수한 성능을 보임.
**모델 일반화**: PaLM 2, GPT-3.5, LLaMA 2-17B-chat 모델 모두에서 SOTA 성능을 달성함.

의의 및 한계

Chain-of-Table은 테이블 기반 추론에서 LLM의 추론 능력을 향상시키는 새로운 접근법을 제시하며, 테이블 구조를 활용한 추론 체인의 구조화된 표현이 학술적·실용적 가치를 지님. 특히, 테이블 연산을 기반으로 중간 결과를 명시적으로 유지함으로써 추론 과정의 신뢰도를 높인다. 그러나 테이블 구조가 복잡한 경우, 연산 생성의 정확도가 떨어질 수 있으며, 이는 추론 성능에 영향을 미칠 수 있다. 또한, 연산 생성 과정에서의 오류 누적으로 인한 오답 가능성도 존재함.

실용적 활용

Chain-of-Table은 테이블 기반 질문 답변, 사실 검증, 데이터 분석 등 다양한 산업 및 연구 분야에서 활용 가능하다. 특히, 복잡한 테이블 구조를 가진 데이터를 다루는 시스템에서 추론 과정의 명확성과 신뢰도를 높이는 데 유용하다. 예를 들어, 금융, 의료, 정부 통계 분석 등에서 실용적 활용이 기대됨.