Generative Verifiers: Reward Modeling as Next-Token Prediction

Verifiers or reward models are often used to enhance the reasoning performance of large language models (LLMs). A common approach is the Best-of-N method, where N candidate solutions generated by the LLM are ranked by a verifier, and the best one is selected. While LLM-based verifiers are typically trained as discriminative classifiers to score solutions, they do not utilize the text generation capabilities of pretrained LLMs. To overcome this limitation, we instead propose training verifiers using the ubiquitous next-token prediction objective, jointly on verification and solution generation. Compared to standard verifiers, such generative verifiers (GenRM) can benefit from several advantages of LLMs: they integrate seamlessly with instruction tuning, enable chain-of-thought reasoning, and can utilize additional test-time compute via majority voting for better verification. We demonstrate that GenRM outperforms discriminative, DPO verifiers, and LLM-as-a-Judge, resulting in large performance gains with Best-of-N, namely 5% $\rightarrow$ 45.3% on algorithmic tasks and 73% $\rightarrow$ 93.4% on GSM8K. In easy-to-hard generalization settings, we observe improvements of 28% $\rightarrow$ 44.6% on MATH, and 37.9% $\rightarrow$ 53.5% on MMLU abstract algebra. Furthermore, we find that training GenRM with synthetic verification rationales is sufficient to pick out subtle errors on math problems. Finally, we demonstrate that GenRM scales favorably with model size and test-time compute.

한 줄 요약

GenRM은 생성형 검증기로, 다음 토큰 예측을 통해 LLM의 생성 능력을 활용해 검증 성능을 73% → 93.4%까지 향상시킨다.

핵심 기여도

GenRM은 다음 토큰 예측을 기반으로 생성 및 검증을 통합하여 학습함.
CoT 추론과 다수결 투표를 통해 검증 정확도를 향상시킴.
GSM8K에서 73% → 93.4%, MATH에서 28% → 44.6%의 성능 향상 기록.
생성형 검증기는 모델 크기와 추론 계산량 증가에 따라 더 높은 성능을 보임.

핵심 아이디어

기존 검증기는 LLM의 생성 능력을 활용하지 못한 구분형 분류기로 학습되며, 이는 LLM의 고유한 강점을 활용하지 못한다는 한계가 있다. GenRM은 검증을 생성 과정으로 재구성하여, 다음 토큰 예측을 기반으로 'Yes' 또는 'No' 토큰을 통해 점수를 산출한다. 이는 CoT 추론을 자연스럽게 지원하며, 여러 CoT 추론을 생성하고 다수결 투표를 통해 평균 점수를 산출함으로써 검증 정확도를 높인다.

GenRM은 생성과 검증을 동일한 모델에서 통합적으로 학습함으로써, DPO 기반 검증기와 달리 양방향 이전(bidirectional transfer) 효과를 얻을 수 있다. 이는 생성 과정에서의 학습이 검증 성능 향상에 긍정적인 영향을 미친다는 점에서 의미가 있다.

기술적 접근법

**GenRM**: 다음 토큰 예측 기반으로 학습. 'Yes' 또는 'No' 토큰 확률로 점수 산출.
**CoT 학습**: 'Is the answer correct?'와 같은 프롬프트로 CoT 추론을 생성.
**다수결 투표**: 여러 CoT 추론을 생성하고 'Yes' 토큰의 평균 점수를 계산.
**학습 데이터**: GSM8K, MATH, MMLU 등 수학 문제에 대한 합성 검증 추론 사용.
**모델**: Gemma-2B, Gemma-7B, Gemma-2-9B 사용.
**추론 옵션**: Best-of-N, CoT, 다수결 투표 적용.

주요 결과

**GSM8K**: GenRM-CoT 사용 시 73% → 93.4% 향상 (Gemini 1.0 Pro 생성).
**MATH**: 28% → 44.6% 향상 (easy-to-hard generalization).
**MMLU Abstract Algebra**: 37.9% → 53.5% 향상.
**Algorithmic Tasks**: 5% → 45.3% 향상 (length generalization).
**모델 확장성**: 모델 크기와 추론 계산량 증가에 따라 성능 향상 관찰.

의의 및 한계

GenRM은 LLM의 생성 능력을 검증 과정에 통합함으로써, 기존 구분형 검증기와 LLM-as-a-Judge보다 훨씬 높은 성능을 보인다. 특히 CoT 추론과 다수결 투표를 통해 추론 정확도를 향상시키며, 생성과 검증을 통합한 학습 방식은 양방향 이전 효과를 유도한다.

하지만, 학습 데이터는 합성된 CoT 추론에 의존하며, 실제 세계의 복잡한 추론 상황에서는 오류가 발생할 수 있다. 또한, GenRM은 생성 과정에서의 계산 비용이 증가하므로, 실시간 응용에서는 성능-비용 균형이 필요하다.

실용적 활용

GenRM은 수학 문제 해결, 알고리즘 추론, 코드 생성 등 LLM이 정확한 추론이 필요한 분야에 적용 가능하다. 특히, Best-of-N과 CoT 추론을 결합한 방식은 테스트 시스템에서 정확도를 높이는 데 유용하며, 학습 데이터가 제한된 상황에서도 합성 추론을 통해 성능을 유지할 수 있다.

Abstract

한국어 요약