Recent advancements in Large Language Models (LLMs) have sparked interest in their formal reasoning capabilities, particularly in mathematics. The GSM8K benchmark is widely used to assess the mathematical reasoning of models on grade-school-level questions. While the performance of LLMs on GSM8K has significantly improved in recent years, it remains unclear whether their mathematical reasoning capabilities have genuinely advanced, raising questions about the reliability of the reported metrics. To address these concerns, we conduct a large-scale study on several SOTA open and closed models. To overcome the limitations of existing evaluations, we introduce GSM-Symbolic, an improved benchmark created from symbolic templates that allow for the generation of a diverse set of questions. GSM-Symbolic enables more controllable evaluations, providing key insights and more reliable metrics for measuring the reasoning capabilities of models.Our findings reveal that LLMs exhibit noticeable variance when responding to different instantiations of the same question. Specifically, the performance of all models declines when only the numerical values in the question are altered in the GSM-Symbolic benchmark. Furthermore, we investigate the fragility of mathematical reasoning in these models and show that their performance significantly deteriorates as the number of clauses in a question increases. We hypothesize that this decline is because current LLMs cannot perform genuine logical reasoning; they replicate reasoning steps from their training data. Adding a single clause that seems relevant to the question causes significant performance drops (up to 65%) across all state-of-the-art models, even though the clause doesn't contribute to the reasoning chain needed for the final answer. Overall, our work offers a more nuanced understanding of LLMs'capabilities and limitations in mathematical reasoning.
한 줄 요약
GSM-Symbolic 벤치마크를 통해 LLM의 수학적 추론 능력 한계를 실증적으로 분석하고, 수치 변화와 불필요한 정보에 대한 취약성을 밝혀냄.
핵심 기여도
- **GSM-Symbolic** 벤치마크를 제안하여 기존 GSM8K의 한계를 극복하고, 다양한 질문 생성을 가능하게 함.
- 수치 값만 변경한 경우 모든 모델의 성능이 감소함을 보여, LLM이 패턴 매칭에 의존함을 드러냄.
- **GSM-NoOp** 데이터셋을 통해 불필요한 정보 추가 시 최대 65%의 성능 하락을 관찰, LLM의 추론이 형식적이지 않음을 입증.
- 25개의 SOTA 모델을 대상으로 대규모 실험을 수행, 수학적 추론의 불안정성과 복잡도에 따른 성능 저하를 실증.
핵심 아이디어
기존 GSM8K 벤치마크는 단일 질문 집합에 의존하여 모델의 수학적 추론 능력을 왜곡할 수 있다는 문제를 제기하고, 이를 해결하기 위해 **GSM-Symbolic**이라는 기호 템플릿 기반 벤치마크를 제안함. 이는 동일한 구조의 질문에 대해 다양한 수치와 문장 구성으로 인스턴스를 생성하여, 모델의 진정한 추론 능력을 평가할 수 있도록 함. 연구는 LLM이 수치 변화나 불필요한 정보 추가에 민감하게 반응하며, 이는 모델이 형식적 논리를 수행하지 못하고 학습 데이터의 패턴을 복제하는 데 의존함을 시사함. 특히, **GSM-NoOp** 실험에서 불필요한 문장 추가로 인해 성능이 65%까지 급락함으로써, LLM이 문제 해결에 필요한 정보를 구분하지 못함을 입증함.
기술적 접근법
- **GSM-Symbolic**: 기호 템플릿을 사용하여 동일한 문제 구조에 대해 다양한 수치와 문장 구성의 질문을 생성.
- **GSM-NoOp**: 문제에 불필요한 정보를 추가하여 LLM이 핵심 정보를 구분하는 능력을 평가.
- 실험 대상: 25개의 SOTA 오픈 및 클로즈 모델.
- 평가 지표: 정확도, 성능 분포, 수치/문장 변화에 따른 성능 변화.
- 핵심 실험: 수치 변화, 문장 수 증가, 불필요한 정보 추가 시 성능 저하 측정.
주요 결과
- **GSM-Symbolic**에서 수치 값만 변경해도 모든 모델의 성능이 감소함.
- 문장 수가 증가할수록 성능이 지속적으로 저하됨 (복잡도 증가에 따른 민감도).
- **GSM-NoOp**에서 불필요한 정보 추가 시 최대 65%의 성능 하락 발생.
- LLM은 수치 변화나 불필요한 정보에 매우 민감하며, 이는 형식적 추론이 아닌 패턴 매칭에 기반함을 나타냄.
의의 및 한계
이 연구는 LLM의 수학적 추론 능력이 단순한 패턴 매칭에 의존하며, 복잡도 증가나 불필요한 정보에 취약하다는 점을 실증적으로 밝혀냄. 이는 기존 성능 지표가 모델의 진정한 추론 능력을 정확히 반영하지 못함을 시사하며, 보다 신뢰할 수 있는 평가 방법론 개발의 필요성을 강조함. 한편, 연구는 **GSM8K**와 **GSM-Symbolic**이 모두 중등 수준의 간단한 수학 문제에 기반하기 때문에, 더 복잡한 수학적 추론 능력 평가에는 한계가 있을 수 있음.
실용적 활용
이 연구는 AI 모델의 수학적 추론 능력 평가 시 사용할 수 있는 **GSM-Symbolic**과 **GSM-NoOp** 벤치마크를 제공하며, 모델 개발자들이 추론의 안정성과 일반화 능력을 개선하는 데 활용 가능함. 특히, 패턴 매칭에 의존하는 추론 방식을 개선하고, 형식적 논리를 기반으로 한 추론 능력을 강화하기 위한 연구에 기초 자료로 활용될 수 있음.