The Lessons of Developing Process Reward Models in Mathematical Reasoning

Process Reward Models (PRMs) emerge as a promising approach for process supervision in mathematical reasoning of Large Language Models (LLMs), which aim to identify and mitigate intermediate errors in the reasoning processes. However, the development of effective PRMs faces significant challenges, particularly in data annotation and evaluation methodologies. In this paper, through extensive experiments, we demonstrate that commonly used Monte Carlo (MC) estimation-based data synthesis for PRMs typically yields inferior performance and generalization compared to LLM-as-a-judge and human annotation methods. MC estimation relies on completion models to evaluate current-step correctness, leading to inaccurate step verification. Furthermore, we identify potential biases in conventional Best-of-N (BoN) evaluation strategies for PRMs: (1) The unreliable policy models generate responses with correct answers but flawed processes, leading to a misalignment between the evaluation criteria of BoN and the PRM objectives of process verification. (2) The tolerance of PRMs of such responses leads to inflated BoN scores. (3) Existing PRMs have a significant proportion of minimum scores concentrated on the final answer steps, revealing the shift from process to outcome-based assessment in BoN Optimized PRMs. To address these challenges, we develop a consensus filtering mechanism that effectively integrates MC estimation with LLM-as-a-judge and advocates a more comprehensive evaluation framework that combines response-level and step-level metrics. Based on the mechanisms, we significantly improve both model performance and data efficiency in the BoN evaluation and the step-wise error identification task. Finally, we release a new state-of-the-art PRM that outperforms existing open-source alternatives and provides practical guidelines for future research in building process supervision models.

한 줄 요약

수학적 추론에서 과정 오류를 감지하는 Process Reward Model(PRMs)의 개발 과정에서 MC 추정법의 한계와 BoN 평가 전략의 편향을 분석하고, 이를 개선한 새로운 합의 필터링 메커니즘을 제안한다.

핵심 기여도

MC 추정법 기반 데이터 생성이 LLM-as-a-judge와 인간 주석에 비해 PRM 성능과 일반화 능력이 낮음을 실험적으로 입증.
기존 BoN 평가 전략이 과정 검증 목적과 벗어나 결과 중심 평가로 편향됨을 3가지 이유로 밝힘.
MC 추정법과 LLM-as-a-judge를 결합한 합의 필터링 메커니즘을 제안, 데이터 효율성과 모델 성능을 동시에 향상.
ProcessBench에서 기존 오픈소스 PRMs 대비 오류 식별 성능을 크게 개선한 새로운 PRM를 개발 및 공개.

핵심 아이디어

기존 PRM 개발에서 MC 추정법은 완료 모델을 기반으로 단계별 정확도를 추정하지만, 이는 정확한 단계 검증을 방해한다. 예를 들어, MC 추정법은 정확한 최종 답변을 생성하더라도 중간 단계가 잘못된 경우를 정확히 식별하지 못한다. 이는 단계별 정확도 추정에 불확실성을 유발하며, PRM의 핵심 목적인 과정 검증 능력을 저하시킨다.

또한, BoN 평가 전략은 정답이 포함된 응답을 높은 점수로 평가하면서 과정 오류를 간과하게 되어 PRM의 평가 목적과 벗어난다. 특히, 기존 PRMs는 최종 답변 단계에 최저 점수가 집중되어 있어, 과정 중심 평가에서 결과 중심 평가로 이동한 것을 보여준다.

이에 따라, 본 연구는 MC 추정법과 LLM-as-a-judge를 결합한 합의 필터링 메커니즘을 제안한다. 이 메커니즘은 두 방법이 동의할 때만 데이터를 보존함으로써, 더 정확하고 효율적인 데이터를 생성한다. 이는 ProcessBench에서 단계별 오류 식별 능력을 향상시키는 데 기여한다.

기술적 접근법

**데이터 생성**: MC 추정법, LLM-as-a-judge, 인간 주석 3가지 방법 비교. MC 추정법은 완료 모델을 사용해 단계별 정확도를 추정.
**모델**: Qwen2.5-Math-7B-PRM-MC-hard, Qwen2.5-Math-7B-PRM-MC-soft, Qwen2.5-Math-7B-PRM-PRM800K 등 다양한 PRM 버전 실험.
**평가**: Best-of-8 (BoN), ProcessBench (단계별 오류 식별) 두 가지 평가 방식 사용.
**합의 필터링**: MC 추정법과 LLM-as-a-judge가 동의할 경우에만 데이터를 유지하는 메커니즘.
**하이퍼파라미터**: MC 추정법에서 하드 라벨과 소프트 라벨을 사용한 두 가지 훈련 전략 비교.

주요 결과

**BoN 평가**: MC 추정법 기반 PRM(Qwen2.5-Math-7B-PRM-MC-hard, -soft)은 PRM800K 기반 PRM보다 Best-of-8 평가에서 낮은 성능 (prm@8 < maj@8).
**ProcessBench**: MC 추정법 기반 PRM은 단계별 오류 식별 능력이 PRM800K 기반 PRM보다 현저히 낮음.
**합의 필터링**: MC 추정법과 LLM-as-a-judge를 결합한 메커니즘은 데이터 효율성과 모델 성능을 동시에 향상.
**신규 PRM**: ProcessBench에서 기존 오픈소스 PRMs 대비 오류 식별 성능을 크게 개선한 새로운 PRM 개발 및 공개.

의의 및 한계

본 연구는 PRM 개발에서 데이터 생성과 평가 전략의 한계를 명확히 밝히고, 이를 개선하기 위한 구체적인 해결책을 제시한다. 합의 필터링 메커니즘은 MC 추정법의 불확실성을 줄이고, LLM-as-a-judge의 정확성을 보완함으로써 데이터 효율성과 모델 성능을 동시에 향상시킨다. 또한, 단계별 평가와 응답 수준 평가를 결합한 새로운 평가 프레임워크를 제안함으로써 PRM의 진정한 목적인 과정 검증 능력을 정확히 평가할 수 있도록 한다.

그러나, 합의 필터링 메커니즘은 MC 추정법과 LLM-as-a-judge가 모두 동의해야 데이터를 유지하기 때문에, 데이터 양이 제한될 수 있다는 한계가 있다. 또한, LLM-as-a-judge의 주석 품질이 모델 성능에 직접적인 영향을 미칠 수 있으므로, 이에 대한 개선이 필요하다.

실용적 활용

본 연구는 수학적 추론 모델의 신뢰성과 정확성을 높이기 위한 PRM 개발에 실질적인 가이드라인을 제공한다. 합의 필터링 메커니즘은 데이터 생성 과정에서 불확실성을 줄이며, ProcessBench와 같은 단계별 평가 도구는 모델의 진정한 검증 능력을 측정할 수 있도록 한다. 이는 과학 연구, 교육, 자동화된 시스템 등에서 LLM의 신뢰도를 높이는 데 기여할 수 있다.