Discretizing Reward Models

Despite their widespread use, the role of reward models in shaping reinforcement learning is poorly understood. Reward models offer a tempting promise: they automatically estimate response quality in the absence of verifiers or human judges. Unlike "verifiable rewards" which typically produce binary scores, reward models typically produce continuous scores, allowing them to be sensitive to fine-grained differences in responses. However, we show this apparent strength is a serious weakness: many popular reward models are oversensitive, assigning different scores to equally good responses. Theoretically, we show that seemingly perfect reward models can be highly oversensitive; empirically, this oversensitivity can lead to bad policies. In place of existing notions of "reward model accuracy," we propose evaluating reward models using distinct measures of "discriminative ability" and "specificity" (the complement of oversensitivity). As a solution, we describe a training-free algorithm that uses Monte Carlo dropout on any neural reward model to produce discrete reward clusters. Theoretically, we prove there exist discretizations that reduce oversensitivity at minimal expense of discriminative ability; empirically we show, in both controlled and natural RL settings, that discretizing rewards leads to less reward hacking and better policies than training on the original rewards.

한 줄 요약

보상 모델의 과민성 문제를 해결하기 위해 MC dropout 기반 보상 클러스터링 알고리즘을 제안하고, 이로 인한 정책 향상 효과를 입증한다.

핵심 기여도

기존 보상 모델의 과민성(oversensitivity) 문제를 이론적으로 정의하고, 이로 인한 학습 실패 가능성을 실증적으로 보여준다.
"Discriminative ability"와 "Specificity"라는 새로운 평가 지표를 제안한다.
MC dropout 기반의 훈련 없이도 적용 가능한 보상 클러스터링 알고리즘을 제시한다.
보상 이산화(discretization)가 정책 품질을 향상시키며, 보상 해킹(reward hacking)을 줄인다는 것을 실험적으로 입증한다.

핵심 아이디어

기존 보상 모델은 연속적인 점수를 통해 응답의 미세한 차이를 감지할 수 있지만, 이는 오히려 동일한 품질의 응답에 대해 서로 다른 점수를 부여하는 **과민성**을 유발한다. 이는 정책 학습에 부정적인 영향을 미칠 수 있다. 저자들은 이 문제를 해결하기 위해 **보상 클러스터링**을 제안한다. 이는 MC dropout을 활용해 보상 모델의 예측 불확실성을 추정하고, 이를 기반으로 보상을 이산화하여 동일한 품질의 응답을 동일한 보상 그룹에 할당한다. 이론적으로도, 특정 조건 하에서 이산화는 과민성을 줄이면서도 구분 능력을 유지할 수 있음을 증명한다.

기술적 접근법

**Monte Carlo dropout**: 신경망 기반 보상 모델에서 예측 불확실성을 추정하기 위해 MC dropout을 사용.
**Reward clustering**: 예측 불확실성이 낮은 응답을 동일 그룹으로 클러스터링하여 보상을 이산화.
**Discriminative ability & Specificity**: 보상 모델 평가 지표로, 구분 능력과 과민성의 보완을 평가.
**RewardBench 1, 2 데이터셋**: 보상 모델의 과민성과 정책 품질을 평가.
**IFEval, GSM8K, MATH 데이터셋**: 실제 다중 작업 RL 환경에서 보상 클러스터링 효과 검증.

주요 결과

**RewardBench 2의 Ties subset**에서, 보상 클러스터링을 적용한 모델은 과민성을 1/16의 가중치에 비해 일관되게 줄이며, 평균 평가 점수를 개선.
**IFEval, GSM8K, MATH**에서, 이산화된 보상은 기존 연속 보상 대비 정책 품질을 10~20% 개선.
**보상 해킹 감소**: 이산화는 스타일적 과최적화를 억제하며, 주요 작업 성능을 유지.
**정책 퇴화 감소**: 이산화된 보상은 퇴화된 정책(degenerate policy) 발생률을 줄임.

의의 및 한계

**의의**: 보상 모델의 과민성 문제를 이론적으로 정의하고, 훈련 없이도 적용 가능한 실용적 해결책을 제시.
**한계**: 이산화는 학습 속도를 느리게 할 수 있으며, 최적 클러스터링 임계값을 사전에 알 수 없어 실험적 조정이 필요.
**기존 평가 체계의 한계**: RewardBench 2의 Ties subset은 전체 점수에 1/16의 가중치만을 차지해 과민성 평가에 한계가 있음.

실용적 활용

대규모 언어 모델의 정책 최적화 과정에서 보상 해킹을 방지하고, 안정적인 정책 학습을 촉진.
스타일적 과최적화가 문제가 되는 생성형 AI 시스템에서 유용하게 활용 가능.
보상 모델 기반 RL을 적용하는 챗봇, 자동화 응답 시스템 등에 즉시 적용 가능.