Process Rewards with Learned Reliability

Process Reward Models (PRMs) provide step-level feedback for reasoning, but current PRMs usually output only a single reward score for each step. Downstream methods must therefore treat imperfect step-level reward predictions as reliable decision signals, with no indication of when these predictions should be trusted. We propose BetaPRM, a distributional PRM that predicts both a step-level success probability and the reliability of that prediction. Given step-success supervision from Monte Carlo continuations, BetaPRM learns a Beta belief that explains the observed number of successful continuations through a Beta-Binomial likelihood, rather than regressing to the finite-sample success ratio as a point target. This learned reliability signal indicates when a step reward should be trusted, enabling downstream applications to distinguish reliable rewards from uncertain ones. As one application, we introduce Adaptive Computation Allocation (ACA) for PRM-guided Best-of-N reasoning. ACA uses the learned reliability signal to stop when a high-reward solution is reliable and to spend additional computation on uncertain candidate prefixes. Experiments across four backbones and four reasoning benchmarks show that BetaPRM improves PRM-guided Best-of-N selection while preserving standard step-level error detection. Built on this signal, ACA improves the accuracy--token tradeoff over fixed-budget Best-of-16, reducing token usage by up to 33.57% while improving final-answer accuracy.

📋 한 줄 요약

**[LLM 추론 / Process Reward]** 단계별 보상과 함께 그 신뢰도를 학습하는 분포형 PRM과 적응적 연산 할당.

🎯 핵심 기여도

단계별 성공 확률과 **그 예측의 신뢰도**를 함께 출력하는 분포형 Process Reward Model **BetaPRM** 제안
점 추정 대신 Monte Carlo 연속에서 관찰된 성공 횟수를 Beta-Binomial 우도로 설명하는 **Beta 신념** 학습
학습된 신뢰도 신호를 활용한 **Adaptive Computation Allocation (ACA)**: 신뢰할 만한 고보상 해는 조기 종료, 불확실한 후보에는 추가 연산 할당
4개 백본 × 4개 추론 벤치마크에서 Best-of-N 선택 개선, 토큰 사용량 최대 33.57% 감소하면서 정확도 향상

💡 핵심 아이디어

기존 PRM은 단계별로 단일 보상 점수만 출력해 신뢰 여부를 알 수 없다. 다운스트림은 불완전한 예측을 그대로 신뢰 신호로 사용한다. BetaPRM은 Beta 신념을 학습해 "보상이 얼마나 확실한가"를 명시적으로 모델링함으로써 자원 할당을 최적화한다.

🔬 기술적 접근법

**모델/방법론**: Beta-Binomial 우도 기반 분포형 PRM
**핵심 기법**: (1) Monte Carlo continuation으로 step 성공 라벨 수집, (2) 유한 표본 비율 회귀 대신 Beta 분포 파라미터 학습으로 신뢰도 동반 추론, (3) ACA가 신뢰도 신호로 Best-of-N의 조기 종료/추가 탐색 결정

📊 주요 결과

4 백본 × 4 추론 벤치마크에서 PRM 가이드 Best-of-N 선택 일관된 개선
표준 단계별 오류 탐지 성능 유지
ACA: 고정 예산 Best-of-16 대비 토큰 최대 -33.57%, 최종 정확도 향상

💭 의의 및 한계

**의의**: PRM의 핵심 결함(보상의 불확실성 미표현)을 분포형 학습으로 해소, 추론 비용-정확도 트레이드오프를 동적으로 개선한다. **한계**: Beta 분포 가정의 적합성은 단계 수와 도메인에 따라 다를 수 있으며, MC continuation 라벨 수집의 비용은 여전히 존재한다.

🚀 실용적 활용

수학·코드 추론에서 토큰 효율적 Best-of-N 디코딩
추론 비용에 민감한 서비스의 예산 가변 추론
단계별 신뢰도를 인간 검수자에게 노출하는 추론 시스템