RM-Bench: Benchmarking Reward Models of Language Models with Subtlety and Style

Reward models are critical in techniques like Reinforcement Learning from Human Feedback (RLHF) and Inference Scaling Laws, where they guide language model alignment and select optimal responses. Despite their importance, existing reward model benchmarks often evaluate models by asking them to distinguish between responses generated by models of varying power. However, this approach fails to assess reward models on subtle but critical content changes and variations in style, resulting in a low correlation with policy model performance. To this end, we introduce RM-Bench, a novel benchmark designed to evaluate reward models based on their sensitivity to subtle content differences and resistance to style biases. Extensive experiments demonstrate that RM-Bench strongly correlates with policy model performance, making it a reliable reference for selecting reward models to align language models effectively. We evaluate nearly 40 reward models on RM-Bench. Our results reveal that even state-of-the-art models achieve an average performance of only 46.6%, which falls short of random-level accuracy (50%) when faced with style bias interference. These findings highlight the significant room for improvement in current reward models. Related code and data are available at https://github.com/THU-KEG/RM-Bench.

한 줄 요약

RM-Bench는 언어 모델의 보상 모델을 세부 내용과 스타일 편향에 대해 평가하는 새로운 벤치마크로, 기존 평가와 높은 상관성을 보인다.

핵심 기여도

RM-Bench는 보상 모델의 **세부 내용 감지 능력**과 **스타일 편향 저항력**을 평가하는 새로운 벤치마크를 제안.
**gpt-4o**를 사용해 동일한 언어 모델에서 생성된 응답을 비교하여 세부 오류를 평가.
스타일 제어 프롬프트를 통해 **concise, detailed, markdown** 등 다양한 스타일의 응답을 생성해 스타일 편향을 평가.
**46.6%**의 평균 성능을 기록한 최신 보상 모델들이 랜덤 추측 수준(50%)에도 미치지 못함을 밝혀, 보상 모델의 개선 필요성을 강조.

핵심 아이디어

기존 보상 모델 평가 방식은 강력한 언어 모델이 생성한 응답을 비교하는 방식을 사용해, 세부 내용의 변화나 스타일 편향을 제대로 평가하지 못한다. 이에 따라, RM-Bench는 동일한 언어 모델(gpt-4o)에서 생성된 응답을 비교함으로써, **세부 오류 감지 능력**을 평가하고, 스타일 제어 프롬프트를 통해 **스타일 편향 저항력**을 평가한다. 이는 보상 모델이 실제로 정책 모델과 높은 상관성을 유지할 수 있도록 보장하는 핵심 설계 요소이다. 또한, **Direct Preference Optimization (DPO)** 모델이 기존 분류기 기반 보상 모델보다 RM-Bench에서 더 높은 성능을 보이는 점에서, DPO가 보상 모델 설계에 유용할 수 있음을 시사한다.

기술적 접근법

**RM-Bench 생성 방법**:
동일한 언어 모델(gpt-4o)에서 **선택 응답**과 **거부 응답**을 생성.
거부 응답에는 **jailbreaking** 또는 **multi-sampling** 기법을 통해 미세한 오류를 삽입.
**style-controlled prompts**를 사용해 **concise, detailed, markdown** 스타일의 응답을 생성.
**평가 대상**:
2B에서 340B 파라미터 규모의 보상 모델, **sequence-classification**, **multi-objective**, **DPO** 기반 모델 포함.
**상관성 분석**:
**Proximal Policy Optimization (PPO)** 미세조정 후, RM-Bench 점수가 정책 모델 성능과 높은 상관성을 보임.

주요 결과

**RM-Bench 평가 결과**:
최신 보상 모델인 **Nemotron-340B-Reward**가 69.5%의 정확도를 기록.
**Skyword-Reward**는 스타일 편향 상황에서 46.6%의 정확도로, 랜덤 추측(50%)에도 미치지 못함.
**DPO 기반 모델**이 분류기 기반 모델보다 RM-Bench에서 더 높은 성능을 보임.

의의 및 한계

RM-Bench는 기존 보상 모델 평가의 한계를 극복하고, 실제 정책 모델 성능과 높은 상관성을 갖는 평가 기준을 제시한다. 특히, 스타일 편향에 대한 저항력 평가를 통해 보상 모델의 신뢰성을 검증할 수 있다. 그러나, RM-Bench는 **gpt-4o** 기반의 응답만 사용하므로, 다른 언어 모델에서의 일반화 가능성은 추가 연구가 필요하다. 또한, **DPO 모델의 우수성**은 RM-Bench 내에서만 확인되었으며, 다른 평가 환경에서의 효과는 명시되지 않음.

실용적 활용

RM-Bench는 언어 모델 정렬 과정에서 사용되는 보상 모델의 선택과 개선에 기준이 될 수 있다. 특히, **스타일 편향 저항력**이 필요한 대화형 AI, 추천 시스템, 콘텐츠 생성 플랫폼 등에서 유용하게 활용될 수 있다.