AlphaMath Almost Zero: process Supervision without process

Although recent advancements in large language models (LLMs) have significantly improved their performance on various tasks, they still face challenges with complex and symbolic multi-step reasoning, particularly in mathematical reasoning. To bolster the mathematical reasoning capabilities of LLMs, most existing efforts concentrate on seeking assistance from either domain experts or GPT-4 for high-quality process-supervised data, which is not only expensive but also labor-intensive. In our study, we propose an innovative framework, AlphaMath, that bypasses the need for process annotations (from humans or GPTs) by leveraging Monte Carlo Tree Search (MCTS). This framework focuses on unleashing the potential of a well-pretrained LLM to autonomously enhance its mathematical reasoning. Specifically, we integrate a value model with the LLM, automatically generating both process supervision and step-level evaluation signals in MCTS. Furthermore, we propose an efficient inference strategy, step-level beam search, where the value model is crafted to assist the policy model (i.e., LLM) in navigating more effective reasoning paths, rather than solely relying on prior probabilities. The experimental results on both in-domain and out-of-domain datasets demonstrate that even without GPT-4 or human-annotated process supervision, our AlphaMath framework achieves comparable or superior results to previous state-of-the-art methods.

한 줄 요약

AlphaMath는 MCTS와 value model을 결합해 수학적 추론 능력을 자율적으로 향상시키는 LLM 훈련 프레임워크다.

핵심 기여도

MCTS를 활용해 수학 문제 해결 과정을 자동 생성하고, 이 과정에서 step-level evaluation 신호를 생성함.
LLM과 value model을 결합한 step-level beam search 전략을 제안, MCTS 대비 효율성을 향상 (B₁=3일 때 성능 향상).
GPT-4나 인간 주석 없이도 기존 최고 성능과 유사하거나 더 뛰어난 결과를 달성함.
Llama3와 MARIO 모델에도 적용 가능하며, Llama3의 수학 성능을 20점 평균 향상.

핵심 아이디어

기존 연구는 수학 추론 능력을 향상시키기 위해 GPT-4나 전문가의 주석 데이터를 사용했으나, 이는 비용이 많이 들고 노동 집약적이다. AlphaMath는 이 문제를 해결하기 위해 MCTS를 도입하여 LLM이 스스로 과정을 생성하고 평가하도록 유도한다. 이 과정에서 value model이 step-level 평가를 수행하며, 이는 LLM의 추론 경로를 개선하는 데 기여한다. 특히, step-level beam search는 MCTS의 계산 비용을 줄이며, value model이 LLM의 추론 경로를 보다 효과적으로 안내할 수 있도록 설계되었다. 이는 인간이 문제를 해결할 때와 유사한 반복적 개선 과정을 시뮬레이션하는 방식이다.

기술적 접근법

**MCTS**: 과정 주석 없이 수학 문제 해결 과정을 자동 생성.
**Value model**: LLM에 linear layer를 추가해 step-level 평가를 수행.
**Step-level beam search**: B₁=1, B₁=3 등 다양한 beam size를 사용해 추론 경로를 탐색.
**Temperature 조절**: decoding 시 온도를 조절해 solution 다양성을 조절.
**Training data**: 문제와 최종 답만 필요. 중간 과정은 자동 생성.

주요 결과

**MATH 데이터셋**: step-level beam search (B₁=3)에서 greedy decoding 대비 +12.3% 성능 향상.
**GaoKao2023 데이터셋**: MCTS 대비 step-level beam search로 1.6× 빠른 속도 유지하면서 유사한 정확도 달성.
**Llama3 모델**: AlphaMath 적용 시 수학 성능 평균 +20점 향상.
**MARIO 모델**: SFT 모델임에도 불구하고 GPT-4와 유사하거나 더 뛰어난 성능 보임.

의의 및 한계

AlphaMath는 과정 주석 없이도 LLM의 수학 추론 능력을 향상시키는 새로운 접근법을 제시하며, 기존 방법에 비해 비용 효율성이 높다. 특히, value model과 step-level beam search의 결합은 추론 경로의 다양성과 정확도를 동시에 개선하는 데 기여한다. 그러나 MCTS는 계산 비용이 높아 대규모 데이터셋에서는 성능 향상 대비 시간 비용이 큰 한계가 있다. 또한, value model이 잘못된 solution을 올바르게 판단하지 못하는 경우가 있어, 모델의 평가 정확도 향상이 필요하다.

실용적 활용

AlphaMath는 수학 교육, 자동화된 문제 해결 시스템, AI 기반 학습 도우미 등에서 활용 가능하다. 특히, 전문가 주석 없이도 LLM의 수학 능력을 향상시킬 수 있어, 저비용으로 고품질 추론 모델을 개발하는 데 유용하다. Llama3나 MARIO와 같은 일반적인 LLM에도 적용 가능해, 다양한 산업 분야에서 활용 범위가 넓다.