ProcessBench: Identifying Process Errors in Mathematical Reasoning

As language models regularly make mistakes when solving math problems, automated identification of errors in the reasoning process becomes increasingly significant for their scalable oversight. In this paper, we introduce ProcessBench for measuring the ability to identify erroneous steps in mathematical reasoning. It consists of 3,400 test cases, primarily focused on competition- and Olympiad-level math problems. Each test case contains a step-by-step solution with error location annotated by human experts. Models are required to identify the earliest step that contains an error, or conclude that all steps are correct. We conduct extensive evaluation on ProcessBench, involving two types of models: process reward models (PRMs) and critic models, where for the latter we prompt general language models to critique each solution step by step. We draw two main observations: (1) Existing PRMs typically fail to generalize to more challenging math problems beyond GSM8K and MATH. They underperform both critic models (i.e., prompted general language models) and our own trained PRM that is straightforwardly fine-tuned on the PRM800K dataset. (2) The best open-source model, QwQ-32B-Preview, has demonstrated the critique capability competitive with the proprietary model GPT-4o, despite that it still lags behind the reasoning-specialized o1-mini. We hope ProcessBench can foster future research in reasoning process assessment, paving the way toward scalable oversight of language models.

한 줄 요약

ProcessBench는 수학적 추론 과정에서 오류를 식별하는 능력을 평가하는 대규모 벤치마크로, 3,400개의 경시대회 수준 문제를 포함한다.

핵심 기여도

ProcessBench는 3,400개의 테스트 케이스를 포함하며, 경시대회 및 올림피아드 수준의 문제에 집중한다.
기존 PRMs는 GSM8K와 MATH 이외의 문제에서 일반화에 실패하며, PRM800K 데이터셋으로 미세조정한 모델보다 성능이 낮다.
QwQ-32B-Preview는 GPT-4o와 유사한 평가 능력을 보이나, 추론 전용 모델 o1-mini보다 여전히 뒤처진다.

핵심 아이디어

ProcessBench는 기존 수학 문제 해결 능력을 넘어, 추론 과정에서 발생한 오류를 자동으로 식별하는 능력을 평가하는 데 초점을 맞춘다. 기존 벤치마크는 최종 정답 여부만 평가하는 경우가 많았으나, ProcessBench는 각 단계별 오류 위치를 전문가가 직접 라벨링하여 보다 정밀한 평가가 가능하도록 설계되었다. 모델은 오류가 발생한 **가장 빠른 단계**를 식별하거나, 모든 단계가 올바른 경우 이를 판단해야 한다. 이는 추론 과정의 신뢰성과 모델의 오류 감지 능력을 측정하는 데 핵심적인 역할을 한다.

기술적 접근법

**ProcessBench**는 3,400개의 테스트 케이스로 구성되며, 경시대회 및 올림피아드 수준의 문제에 집중한다.
각 테스트 케이스는 단계별 해결 과정과, 전문가가 라벨링한 오류 위치를 포함한다.
평가 모델은 두 가지 유형:
**Process Reward Models (PRMs)**: PRM800K 데이터셋으로 미세조정한 모델.
**Critic Models**: 일반 언어 모델(Qwen, GPT-4o 등)을 단계별 평가를 유도하는 프롬프트로 활용.
모델은 오류가 발생한 **가장 빠른 단계**를 식별하거나, 모든 단계가 올바른 경우 이를 판단해야 한다.

주요 결과

기존 PRMs는 GSM8K와 MATH 이외의 문제에서 일반화에 실패하며, PRM800K로 미세조정한 모델보다 성능이 낮다.
QwQ-32B-Preview는 GPT-4o와 유사한 평가 능력을 보이나, 추론 전용 모델 o1-mini보다 여전히 뒤처진다.
일반 언어 모델은 단계별 오류를 식별하고, 상세한 설명을 제공하는 비자명한 평가 능력을 보인다.

의의 및 한계

ProcessBench는 추론 과정 평가를 위한 대규모, 전문가 라벨링된 벤치마크로서, 언어 모델의 신뢰성과 일반화 능력을 평가하는 기초를 제공한다. 특히, 기존 PRMs의 일반화 문제를 드러내며, 데이터 합성 방법론의 한계를 지적한다. 그러나 ProcessBench는 수학 문제에만 초점을 맞춘 것이므로, 다른 도메인으로의 확장 가능성은 명시되지 않았다. 또한, 오류 라벨링은 전문가에 의존하므로, 자동화된 라벨링 방법론의 필요성도 제기된다.

실용적 활용

ProcessBench는 수학 문제 해결 시 추론 과정의 신뢰성을 평가하는 데 활용될 수 있으며, AI 시스템의 자동 감독 및 모델 개선에 기여할 수 있다. 특히, 언어 모델의 오류 감지 능력을 평가하는 데 사용되어, 교육, 연구, 산업 분야에서의 신뢰성 있는 AI 개발에 기반을 제공할 수 있다.