AdvancedMathBench: A Benchmark Suite for Advanced Mathematical Proof Generation and Verification

Large language models (LLMs) have achieved remarkable performance on high-school and olympiad-style mathematics, yet their capabilities on advanced mathematics remain poorly understood. Existing benchmarks, however, fall short in both scope and evaluation granularity: they provide limited disciplinary coverage and often rely on final-answer correctness or coarse judgments, leaving the validity of the reasoning process inadequately assessed. To bridge this gap, we introduce AdvancedMathBench, a benchmark suite designed to evaluate advanced mathematical reasoning capabilities. Its core proof-generation benchmark, ProverBench, contains 296 problems spanning undergraduate and doctoral qualifying-exam levels. To provide reliable evaluation of the proofs, we develop a dedicated automatic verification pipeline trained on large-scale expert annotations to produce both correctness verdicts and fine-grained assessments of proof errors, which exhibits strong agreement with human experts on held-out proof trajectories. We further introduce VerifierBench, consisting of 888 model-generated proof trajectories paired with expert ground truth, to evaluate whether models can correctly judge proof validity and provide sound verification rationales. Experiments show that AdvancedMathBench remains challenging for frontier models. On proof generation, the best-performing model, GPT-5.5-xhigh, achieves only 75.8 and 66.1 on the UGD and QE splits, respectively, indicating substantial room for improvement on advanced mathematical proof construction. On proof verification, the best model attains a Balanced F1 of only 65.1, and models generally exhibit low true negative rates, suggesting that critical error detection remains a major bottleneck.

한 줄 요약

AdvancedMathBench는 대학 고급 수학 증명 생성 및 검증 능력을 평가하는 벤치마크로, GPT-5.5-xhigh가 UG 64.5%, QE 48.9%에 그친다.

핵심 기여도

ProverBench: 245개의 대학 및 박사 수준 문제를 포함한 증명 생성 평가 벤치.
VerifierBench: 888개의 모델 생성 증명 트래젝토리와 전문가 정답을 비교하는 검증 평가 벤치.
전문가 주석을 기반으로 훈련된 자동 검증 파이프라인 개발 (Balanced F1 82.1 달성).
GPT-5.5-xhigh가 ProverBench에서 UG 64.5%, QE 48.9%로, 고급 증명 생성이 여전히 어려움을 드러냄.

핵심 아이디어

기존 수학 벤치마크는 최종 정답만 평가하거나, 증명 과정의 논리적 타당성을 세부적으로 평가하지 못한다. AdvancedMathBench는 이 문제를 해결하기 위해 증명 생성(ProverBench)과 검증(VerifierBench)을 병행 평가하는 구조를 도입한다. ProverBench는 대학 및 박사 수준의 245개 문제를 포함하며, 생성된 증명의 정확성과 오류를 전문가 주석 기반 자동 검증 파이프라인으로 평가한다. VerifierBench는 모델이 생성한 888개의 증명 트래젝토리를 전문가 정답과 비교하여, 모델이 증명의 유효성을 판단하는 능력을 평가한다. 이는 단순한 정답 여부가 아닌, 증명 과정의 논리적 일관성과 오류 탐지를 중시하는 새로운 평가 패러다임을 제시한다.

기술적 접근법

**ProverBench**: 대학(UG) 및 박사 자격시험(QE) 수준의 245개 문제로 구성.
**VerifierBench**: 888개의 모델 생성 증명 트래젝토리와 전문가 정답 쌍으로 구성.
**자동 검증 파이프라인**: 전문가 주석을 기반으로 훈련된 시스템으로, 증명의 정확성, 오류 위치, 검증 사유를 생성.
**평가 지표**: Balanced F1, True Negative Rate, Meta-Verification.
**모델 성능**: GPT-5.5-xhigh (ProverBench UG 64.5%, QE 48.9%), DeepSeek-V4-Pro (VerifierBench Balanced F1 65.1%).

주요 결과

GPT-5.5-xhigh는 ProverBench에서 UG 64.5%, QE 48.9% 성능을 기록.
VerifierBench에서 최고 성능 모델인 DeepSeek-V4-Pro는 Balanced F1 65.1, 최고 True Negative Rate 55.8.
이는 모델이 고급 수학 증명 생성 및 검증에서 여전히 큰 한계를 가짐을 나타냄.
전문가 주석 기반 자동 검증 파이프라인은 Meta-Verification Balanced F1 82.1을 달성하며, LLM-as-judge 기반보다 훨씬 높은 정확도를 보임.

의의 및 한계

AdvancedMathBench는 기존 수학 벤치마크의 한계를 극복하고, 증명 생성과 검증을 병행 평가함으로써 LLM의 고급 수학적 추론 능력을 정확히 평가할 수 있는 기반을 제공한다. 특히, 자동 검증 파이프라인은 전문가 주석을 기반으로 훈련되어, 모델이 생성한 증명의 오류를 세부적으로 평가할 수 있다. 그러나, 모델이 생성한 증명의 정확도가 낮고, 오류 탐지 능력이 부족한 점은 LLM의 고급 수학적 추론 능력이 여전히 발전이 필요함을 시사한다. 또한, 일부 모델은 정답을 내더라도 검증 사유가 불완전하거나 오류가 있는 경우가 많아, 단순한 정답 판단만으로는 모델의 능력을 정확히 평가할 수 없다는 한계가 있다.

실용적 활용

AdvancedMathBench는 수학 교육, 자동 증명 도구 개발, 수학적 추론 능력을 평가하는 연구 분야에서 활용될 수 있다. 특히, 모델이 생성한 증명의 정확성과 오류를 자동으로 평가하는 기술은 자동 평가 시스템, 수학 교육 AI, 수학적 추론 모델 개선에 기여할 수 있다.