Interpretable Preferences via Multi-Objective Reward Modeling and Mixture-of-Experts

Reinforcement learning from human feedback (RLHF) has emerged as the primary method for aligning large language models (LLMs) with human preferences. The RLHF process typically starts by training a reward model (RM) using human preference data. Conventional RMs are trained on pairwise responses to the same user request, with relative ratings indicating which response humans prefer. The trained RM serves as a proxy for human preferences. However, due to the black-box nature of RMs, their outputs lack interpretability, as humans cannot intuitively understand why an RM thinks a response is good or not. As RMs act as human preference proxies, we believe they should be human-interpretable to ensure that their internal decision processes are consistent with human preferences and to prevent reward hacking in LLM alignment. To build RMs with interpretable preferences, we propose a two-stage approach: i) train an Absolute-Rating Multi-Objective Reward Model (ArmoRM) with multi-dimensional absolute-rating data, each dimension corresponding to a human-interpretable objective (e.g., honesty, verbosity, safety); ii) employ a Mixture-of-Experts (MoE) strategy with a gating network that automatically selects the most suitable reward objectives based on the context. We efficiently trained an ArmoRM with Llama-3 8B and a gating network consisting of a shallow MLP on top of the ArmoRM. Our trained model, ArmoRM-Llama3-8B, obtains state-of-the-art performance on RewardBench, a benchmark evaluating RMs for language modeling. Notably, the performance of our model surpasses the LLM-as-a-judge method with GPT-4 judges by a margin, and approaches the performance of the much larger Nemotron-4 340B reward model.

한 줄 요약

ArmoRM과 MoE를 결합한 해석 가능한 보상 모델이 RewardBench에서 최상의 성능을 보인다.

핵심 기여도

ArmoRM: 다차원 절대 평가 데이터를 사용한 Multi-Objective Reward Model.
MoE: 문맥에 따라 최적의 보상 목표를 선택하는 Gating Network를 도입.
Llama-3 8B 기반으로 훈련한 ArmoRM-Llama3-8B가 Nemotron-4 340B 모델과 유사한 성능을 달성.
GPT-4 기반 LLM-as-a-judge 방식을 상회하며, 저비용 대체 모델로 활용 가능.

핵심 아이디어

기존 보상 모델(RM)은 인간의 선호를 대체하는 데 사용되지만, 그 결정 과정이 흑색 상자(black-box)로 인해 해석 불가능하다. 이는 보상 해킹(reward hacking)으로 이어질 수 있으며, 예를 들어 길이 편향(verbosity bias)과 같은 문제를 유발한다. 이를 해결하기 위해, 본 연구는 ArmoRM과 MoE를 결합한 새로운 접근법을 제안한다. ArmoRM은 각 차원이 인간이 해석 가능한 목표(예: 정직성, 안전성)에 대응하는 절대 평가 점수를 기반으로 훈련된다. MoE는 문맥에 따라 가장 적합한 보상 목표를 선택하는 Gating Network를 통해 RM의 결정 과정을 분해하고 제어할 수 있도록 한다. 이는 RM의 내부 결정 과정을 인간의 선호와 비교할 수 있게 하여 신뢰성을 높인다.

기술적 접근법

**ArmoRM**: 다차원 절대 평가 데이터를 사용하여 훈련된 Multi-Objective Reward Model.
**MoE (Mixture-of-Experts)**: Gating Network가 문맥에 따라 보상 목표를 선택. Gating Network는 ArmoRM 위에 얕은 MLP로 구성.
**모델 구조**: Llama-3 8B를 기반으로 ArmoRM-Llama3-8B 훈련.
**데이터**: RewardBench에서 평가를 위해 사용된 다중 범주(예: Chat, Safety, Reasoning)의 쌍별 선호 데이터.
**훈련 전략**: 절대 평가 점수를 기반으로 ArmoRM 훈련 후, MoE를 통해 보상 목표 선택.

주요 결과

**RewardBench 성능**: ArmoRM-Llama3-8B가 기존 Llama-3 8B Bradley-Terry RM보다 훨씬 우수한 성능을 보임.
**LLM-as-a-judge 대비 성능**: GPT-4 기반의 LLM-as-a-judge 방식을 상회함.
**Nemotron-4 340B 대비 성능**: 8B 파라미터의 ArmoRM-Llama3-8B가 340B Nemotron-4 RM과 유사한 성능 달성.
**가중 평균 점수**: RewardBench의 5개 범주(4개 1.0, 1개 0.5 가중치)에서 높은 점수를 기록.

의의 및 한계

본 연구는 보상 모델의 해석 가능성과 제어 가능성의 중요성을 강조하며, ArmoRM과 MoE를 결합한 새로운 훈련 전략을 제시한다. 이는 LLM 정렬 과정에서 보상 해킹을 방지하고, 인간의 가치와 일치하는 결정을 유도할 수 있다. 또한, GPT-4 기반의 LLM-as-a-judge 방식을 저비용으로 대체할 수 있어 실용적 가치가 높다. 그러나, ArmoRM의 절대 평가 데이터는 인간의 주관적 평가에 의존하므로, 데이터 편향이 모델 성능에 영향을 줄 수 있는 한계가 있다. 또한, Gating Network의 선택 기준이 명확하게 명시되지 않아, 모델의 제어 가능성에 대한 추가 연구가 필요하다.

실용적 활용

ArmoRM-Llama3-8B는 LLM 정렬 과정에서 사용되는 보상 모델로 활용될 수 있으며, 특히 GPT-4 기반의 LLM-as-a-judge 방식을 대체하여 저비용으로 대량의 데이터를 평가하는 데 유용하다. 또한, 보상 모델의 해석 가능성과 제어 가능성을 요구하는 산업 분야(예: 챗봇, 콘텐츠 필터링)에서 신뢰성 있는 정렬 기술로 활용 가능하다.