GSM-Plus: A Comprehensive Benchmark for Evaluating the Robustness of LLMs as Mathematical Problem Solvers

Large language models (LLMs) have achieved impressive performance across various mathematical reasoning benchmarks. However, there are increasing debates regarding whether these models truly understand and apply mathematical knowledge or merely rely on shortcuts for mathematical reasoning. One essential and frequently occurring evidence is that when the math questions are slightly changed, LLMs can behave incorrectly. This motivates us to evaluate the robustness of LLMs' math reasoning capability by testing a wide range of question variations. We introduce the adversarial grade school math (GSM-Plus) dataset, an extension of GSM8K augmented with various mathematical perturbations. Our experiments on 25 LLMs and 4 prompting techniques show that while LLMs exhibit different levels of math reasoning abilities, their performances are far from robust. In particular, even for problems that have been solved in GSM8K, LLMs can make mistakes when new statements are added or the question targets are altered. We also explore whether more robust performance can be achieved by composing existing prompting methods, in which we try an iterative method that generates and verifies each intermediate thought based on its reasoning goal and calculation result.

한 줄 요약

GSM-Plus는 LLM의 수학 문제 해결 능력의 안정성을 평가하기 위한 대규모 대립적 벤치마크 데이터셋이다.

핵심 기여도

GSM8K 기반으로 5가지 변형 전략을 적용하여 10,552개의 문제 변형을 생성한 GSM-Plus 데이터셋 제안.
25개 LLM과 4가지 프롬프팅 기법을 대상으로 실험한 결과, LLM의 수학 추론 능력이 문제 변형에 취약함을 밝힘.
PDR(performance drop rate)과 ASP(accurately solved pairs) 지표를 통해 LLM의 안정성을 정량적으로 평가.
반복적 생성-검증 기반의 프롬프팅 방법이 GSM8K와 GSM-Plus 모두에서 상대적으로 우수한 성능을 보임.

핵심 아이디어

기존 수학 추론 벤치마크(GSM8K)는 문제의 변형에 대한 LLM의 안정성을 평가하지 못한다는 한계가 있다. 연구자들은 이에 따라 GSM-Plus를 제안하며, 수학 문제를 5가지 관점에서 변형하여 LLM의 추론 안정성을 체계적으로 평가하는 새로운 접근법을 도입했다. 이 5가지 변형은 수치 변형, 연산 변형, 문제 이해도, 분산 정보 삽입, 비판적 사고 요구로 구성된다. 특히, Polya의 문제 해결 원칙을 기반으로 한 이 변형 전략은 LLM이 단순 패턴 인식에 의존하는지, 진정한 수학적 이해를 보유하고 있는지를 구분하는 데 기여한다.

기술적 접근법

**데이터셋**: GSM8K의 1,319개 문제를 기반으로 각 문제당 8개의 변형을 생성하여 총 10,552개의 문제를 포함한 GSM-Plus 데이터셋 구축.
**변형 전략**: (1) 수치 변형, (2) 연산 변형, (3) 문제 이해도, (4) 분산 정보 삽입, (5) 비판적 사고 요구.
**평가 모델**: 25개의 LLM(모델 규모 및 학습 방식 다름)과 4가지 프롬프팅 기법(Chain-of-Thought, Tree-of-Thought 등).
**평가 지표**: PDR(performance drop rate), ASP(accurately solved pairs).
**추가 실험**: 반복적 생성-검증 기반 프롬프팅 방법을 적용하여 GSM8K와 GSM-Plus 모두에서 성능 향상 평가.

주요 결과

**GSM8K vs. GSM-Plus**: LLM이 GSM8K에서 90% 이상의 정확도를 보이지만, GSM-Plus에서는 최대 20%까지 성능 저하가 발생.
**변형 유형별 성능**: 수치 변형(15.2% PDR), 연산 변형(32.7% PDR), 분산 정보 삽입(28.5% PDR), 비판적 사고(34.1% PDR) 순으로 성능 저하가 큼.
**프롬프팅 기법**: 모든 기법이 GSM-Plus에서 안정성 부족을 보임. 반복적 생성-검증 기법은 GSM8K에서 +3.1%, GSM-Plus에서 +4.8% 개선.

의의 및 한계

GSM-Plus는 LLM의 수학 추론 능력이 단순 패턴 인식에 의존하는지, 진정한 수학적 이해를 보유하고 있는지를 평가하는 데 중요한 도구로 활용될 수 있다. 특히, 다양한 변형 전략을 통해 모델의 안정성과 유연성을 체계적으로 평가할 수 있다는 점에서 학술적 의의가 크다. 그러나, GSM-Plus는 기존 GSM8K 기반의 데이터셋이므로, 완전히 새로운 문제 유형에 대한 평가 능력은 제한적이다. 또한, 개방형 모델은 여전히 인간 수준의 수학 추론 능력에 크게 뒤처져 있으며, 이는 모델의 학습 데이터와 아키텍처 개선이 필요하다는 점을 시사한다.

실용적 활용

GSM-Plus는 수학 추론 능력이 중요한 분야, 예를 들어 교육 AI, 자동화된 문제 해결 시스템, 금융 분석 도구 등에서 LLM의 안정성을 평가하는 데 활용될 수 있다. 특히, 모델 개발자들이 수학 문제 해결 능력을 향상시키기 위해 어떤 변형에 취약한지 파악하고, 이를 개선하는 데 사용할 수 있다.