MathScale: Scaling Instruction Tuning for Mathematical Reasoning

Large language models (LLMs) have demonstrated remarkable capabilities in problem-solving. However, their proficiency in solving mathematical problems remains inadequate. We propose MathScale, a simple and scalable method to create high-quality mathematical reasoning data using frontier LLMs (e.g., {\tt GPT-3.5}). Inspired by the cognitive mechanism in human mathematical learning, it first extracts topics and knowledge points from seed math questions and then build a concept graph, which is subsequently used to generate new math questions. MathScale exhibits effective scalability along the size axis of the math dataset that we generate. As a result, we create a mathematical reasoning dataset (MathScaleQA) containing two million math question-answer pairs. To evaluate mathematical reasoning abilities of LLMs comprehensively, we construct {\sc MwpBench}, a benchmark of Math Word Problems, which is a collection of ten datasets (including GSM8K and MATH) covering K-12, college, and competition level math problems. We apply MathScaleQA to fine-tune open-source LLMs (e.g., LLaMA-2 and Mistral), resulting in significantly improved capabilities in mathematical reasoning. Evaluated on {\sc MwpBench}, MathScale-7B achieves state-of-the-art performance across all datasets, surpassing its best peers of equivalent size by 42.9\% in micro average accuracy and 43.7\% in macro average accuracy, respectively.

한 줄 요약

MathScale은 GPT-3.5를 활용해 수학적 추론 데이터를 확장하고, MwpBench 벤치마크에서 42.9%의 micro average 정확도 개선을 달성한 수학 학습 모델 훈련 방법이다.

핵심 기여도

GPT-3.5를 사용해 200만 개의 수학 문제-정답 쌍을 포함한 MathScaleQA 데이터셋 생성.
MwpBench라는 10개 데이터셋을 아우르는 수학 문제 벤치마크 구축 (GSM8K, MATH 포함).
MathScaleQA로 LLaMA-2와 Mistral 모델을 fine-tuning하여 MathScale-7B가 micro average 정확도에서 42.9%, macro average에서 43.7% 개선.
개념 추출과 개념 그래프 생성을 기반으로 기존 증강 기반 방법보다 확장성이 뛰어난 데이터 생성 프레임워크 제시.

핵심 아이디어

기존 수학 문제 증강 방법은 원본 문제와 유사한 문제만 생성해 확장성이 제한적이었다. MathScale은 인간의 수학 학습 과정을 모방한 두 단계 접근법을 도입한다. 첫째, GPT-3.5를 사용해 시드 문제에서 주제와 지식 포인트를 추출(Concept Compression). 둘째, 추출된 개념을 연결한 개념 그래프를 생성(Concept Graph Construction)하고, 이를 기반으로 새로운 문제를 생성한다. 이 방식은 기존 문제에 의존하지 않고, 다양한 개념 조합을 통해 더 많은 문제를 생성할 수 있다. 인간의 수학 학습에서 개념 압축과 연결 형성이 핵심이라는 인지 메커니즘을 반영한 점이 차별점이다.

기술적 접근법

**Concept Extraction**: GPT-3.5를 사용해 20,000개의 시드 문제에서 주제와 지식 포인트를 추출.
**Concept Graph Construction**: 추출된 개념 간 연결 관계를 그래프로 표현.
**Question Generation**: 개념 그래프에서 무작위로 샘플링한 개념을 기반으로 GPT-3.5가 새로운 문제 생성.
**Fine-tuning**: MathScaleQA 데이터셋을 사용해 LLaMA-2 7B, 13B, Mistral 7B 모델 fine-tuning. 배치 크기 128, 학습률 2e-5, 3 에포크 훈련.
**Prompt 형식**: Alpaca 형식 사용 (Instruction-Response 구조).

주요 결과

MathScale-7B는 MwpBench에서 **35.0%의 micro average 정확도**, **37.5%의 macro average 정확도**를 달성.
동일한 규모의 최고 성능 모델 대비 **micro average +42.9%**, **macro average +43.7%** 개선.
MathScaleQA는 200만 개의 수학 문제-정답 쌍을 포함한 데이터셋으로, 기존 GSM8K(7.5K), MATH(12.5K)보다 훨씬 규모가 큼.
GPT-3.5로 생성된 데이터를 사용한 fine-tuning이 GPT-4로 생성된 데이터보다 유사한 성능을 보여, 검증 단계 생략 가능.

의의 및 한계

MathScale은 수학 문제 생성의 확장성을 획기적으로 높였으며, MwpBench는 K-12부터 대학, 경시 수준까지 포괄하는 종합적 수학 추론 평가 기준을 제공한다. 특히, open-source 모델의 수학 능력을 향상시키는 데 기여하며, LLaMA-2와 Mistral 모델의 수학 성능을 대폭 개선한 점이 주목할 만하다. 다만, GPT-3.5로 생성된 데이터의 일부가 오류를 포함할 수 있으나, 이는 fine-tuning 과정에서 오히려 모델이 GPT-3.5의 분포를 학습하는 데 도움이 된다는 점에서 긍정적으로 평가된다. 한계로는 LLaMA-2 70B 모델의 실험은 아직 수행되지 않았다.

실용적 활용

MathScale은 수학 교육 콘텐츠 자동 생성, 수학 능력 평가 시스템 개발, open-source LLM의 수학 추론 능력 향상을 위한 fine-tuning 데이터셋으로 활용 가능하다. 특히, 교육 기관이나 AI 기반 학습 플랫폼에서 대규모 맞춤형 수학 문제 생성에 유용하게 사용될 수 있다.