reinforcement-learning reward-modeling llm-as-judge rlhf bias-mitigation cognitive-bias rationality-parameter human-feedback
Abstract
How can we make models robust to even imperfect human feedback? In reinforcement learning from human feedback (RLHF), human preferences over model outputs are used to train a reward model that assigns scalar values to responses. Because these rewards are inferred from pairwise comparisons, this learning depends on an assumed relationship between latent reward differences and observed preferences, typically modeled using a Boltzmann formulation in which a rationality parameter beta informs how consistently preferences reflect reward differences. In practice, beta is typically treated as a fixed constant that reflects assumed uniform annotator reliability. However, human feedback is not this simplistic in practice: real human judgments are shaped by cognitive biases, leading to systematic deviations from reward-consistent behavior that arise contextually. To address this, we treat rationality as context- and annotation-dependent. We design an approach to dynamically adjust the rationality parameter beta during reward learning using an LLM-as-judge to assess the likely presence of cognitive biases. This approach effectively downweights comparisons that are likely to reflect biased or unreliable judgments. Empirically, we show that this approach learns a more rational downstream model, even when finetuning on datasets with strongly biased preferences.
한국어 요약
📋 한 줄 요약
**[RLHF · 정렬]** RLHF에서 고정 상수로 다뤄지던 Boltzmann 합리성 파라미터 β를 LLM-as-judge가 비편향 가능성에 따라 맥락 적응적으로 조정하도록 만들어, 강하게 편향된 선호 데이터에서도 더 합리적인 보상 모델을 학습한다.
🎯 핵심 기여도
- RLHF의 Boltzmann 합리성 파라미터 β를 맥락·주석 의존적 변수로 재정의
- LLM-as-judge로 인지 편향 가능성을 평가해 β를 동적으로 조정하는 절차 설계
- 편향이 의심되는 비교쌍의 가중치를 효과적으로 낮추는 다운웨이팅 메커니즘 구현
- 강한 편향 선호 데이터셋에서도 더 합리적 다운스트림 모델 학습을 실증
💡 핵심 아이디어
RLHF는 잠재 보상 차이와 관찰된 선호의 관계를 균일한 β로 가정하지만, 실제 인간 판단은 인지 편향에 영향을 받는다. β를 비교쌍별 맥락과 편향 가능성에 따라 변하는 함수로 다루고, LLM-as-judge로 그 가능성을 평가해 가중치를 조정함으로써 편향 노이즈에 강건해진다.
🔬 기술적 접근법
- **모델/방법론**: 동적 β-RLHF — Boltzmann 선호 모델의 합리성 파라미터를 맥락 의존 변수로 확장
- **핵심 기법**: LLM-as-judge가 인지 편향 가능성을 평가, 그 결과에 따라 β를 비교쌍 단위로 조정해 편향성이 높은 비교를 다운웨이팅, 비편향 비교는 정상 가중치 유지
📊 주요 결과
- 강하게 편향된 선호 데이터로 학습해도 더 합리적인 다운스트림 모델 달성
- 고정 β 베이스라인 대비 보상 모델의 합리성·일관성 향상
- LLM-as-judge 기반 편향 평가가 실제 가중치 조정에 유효하게 작동함을 실증
💭 의의 및 한계
**의의**: 인간 피드백의 불완전성·편향에 대한 RLHF의 강건성을 끌어올리는 단순하면서도 원리적인 방법을 제시한다. **한계**: LLM-as-judge 자체의 편향이 β 조정에 반영될 수 있어 평가자 편향 누출 위험이 있고, 어떤 인지 편향이 합리적으로 식별 가능한지에 대한 일반화 검증이 더 필요하다.
🚀 실용적 활용
- 인간 어노테이터 다양성·편향이 큰 RLHF 데이터 정제
- 모델 정렬 시 편향성이 높은 비교쌍 자동 다운웨이팅
- 보상 모델 학습 파이프라인의 견고성 향상