To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning

Chain-of-thought (CoT) via prompting is the de facto method for eliciting reasoning capabilities from large language models (LLMs). But for what kinds of tasks is this extra ``thinking'' really helpful? To analyze this, we conducted a quantitative meta-analysis covering over 100 papers using CoT and ran our own evaluations of 20 datasets across 14 models. Our results show that CoT gives strong performance benefits primarily on tasks involving math or logic, with much smaller gains on other types of tasks. On MMLU, directly generating the answer without CoT leads to almost identical accuracy as CoT unless the question or model's response contains an equals sign, indicating symbolic operations and reasoning. Following this finding, we analyze the behavior of CoT on these problems by separating planning and execution and comparing against tool-augmented LLMs. Much of CoT's gain comes from improving symbolic execution, but it underperforms relative to using a symbolic solver. Our results indicate that CoT can be applied selectively, maintaining performance while saving inference costs. Furthermore, they suggest a need to move beyond prompt-based CoT to new paradigms that better leverage intermediate computation across the whole range of LLM applications.

한 줄 요약

CoT는 수학 및 기호적 추론 태스크에서 성능 향상에 효과적이지만, 다른 태스크에서는 제한적이다.

핵심 기여도

CoT는 수학 및 논리적 추론 태스크에서 평균 12.3%의 성능 향상을 보임 (MMLU 기준).
MMLU 데이터셋에서 CoT의 95% 성능 향상은 '=' 기호가 포함된 문제에서 발생함.
CoT는 실행 단계에서 도움이 되지만, 기호 해결기(symbolic solver)보다 성능이 낮음.
CoT는 비용 효율성을 고려할 때 선택적 적용이 가능함.

핵심 아이디어

CoT는 추론 과정을 명시적으로 표현함으로써 모델의 추론 능력을 유도하는 프롬프팅 기법이다. 그러나 연구자들은 CoT가 모든 태스크에 유용한지에 대한 명확한 답이 없음을 지적한다. 본 연구는 100개 이상의 논문을 메타 분석하고, 14개 모델에 걸쳐 20개 데이터셋을 평가하여 CoT의 효과를 정량적으로 분석했다. 핵심 통찰은 CoT가 수학 및 기호적 추론 문제에서 유의미한 성능 향상을 주는 반면, 다른 태스크에서는 거의 효과가 없다는 점이다. 특히 MMLU 데이터셋에서 CoT의 95% 성능 향상이 '=' 기호가 포함된 문제에서 발생한다는 사실은 CoT가 기호 실행 단계에서 도움을 주는 것을 시사한다. 이는 CoT가 계획 단계보다 실행 단계에서 더 큰 영향을 미친다는 것을 의미한다.

기술적 접근법

**데이터셋**: MMLU, MMLU Pro, GSM8K, MATH 등 20개 데이터셋.
**모델**: 14개의 대형 언어 모델 (예: Llama 3.1, Mixtral-Large2 등).
**프롬프팅 설정**: zero-shot 및 few-shot 설정에서 CoT와 Direct Answer(DA) 비교.
**실험 방법**: CoT와 DA의 성능 차이(CoT delta)를 계산하고, 계획(Planning)과 실행(Execution) 단계를 분리하여 분석.
**도구 비교**: CoT와 기호 해결기(Plan + Tool solver) 비교를 통해 CoT의 한계를 평가.

주요 결과

**MMLU**: CoT와 DA의 정확도는 거의 동일하나, '=' 기호가 포함된 문제에서는 CoT가 95%의 성능 향상을 기록함.
**수학 및 논리 태스크**: CoT는 평균 12.3%의 성능 향상을 보임 (기호 추론: 14.2%, 논리 추론: 6.9%).
**기호 해결기 대비 CoT**: CoT는 실행 단계에서 도움이 되지만, 기호 해결기보다 성능이 낮음.
**비용 효율성**: CoT는 계산 비용이 높기 때문에 선택적 적용이 가능함.

의의 및 한계

본 연구는 CoT가 수학 및 기호적 추론 문제에 효과적임을 명확히 밝히며, CoT가 모든 추론 태스크에 필수적인 것은 아니라는 점을 강조한다. 이는 CoT의 선택적 사용을 통해 추론 비용을 절감할 수 있음을 시사한다. 또한, CoT는 기호 해결기보다 성능이 낮기 때문에, CoT 기반 프롬프팅을 넘어서는 새로운 접근법(예: 검색 기반, 에이전트 상호작용, CoT에 특화된 미세조정)이 필요하다는 점을 제시한다. 한계점으로는 CoT가 비기호적 추론(예: 상식 추론)에서는 효과가 제한적이라는 점이 있다.

실용적 활용

CoT는 수학 문제 해결, 알고리즘 설계, 기호 논리 추론 등 기호적 계산이 필요한 산업 및 연구 분야에서 유용하게 활용될 수 있다. 그러나 비기호적 추론이 필요한 상황에서는 CoT 대신 다른 프롬프팅 전략이나 도구를 활용하는 것이 더 효과적일 수 있다.