Personalizing Reinforcement Learning from Human Feedback with Variational Preference Learning

Reinforcement Learning from Human Feedback (RLHF) is a powerful paradigm for aligning foundation models to human values and preferences. However, current RLHF techniques cannot account for the naturally occurring differences in individual human preferences across a diverse population. When these differences arise, traditional RLHF frameworks simply average over them, leading to inaccurate rewards and poor performance for individual subgroups. To address the need for pluralistic alignment, we develop a class of multimodal RLHF methods. Our proposed techniques are based on a latent variable formulation - inferring a novel user-specific latent and learning reward models and policies conditioned on this latent without additional user-specific data. While conceptually simple, we show that in practice, this reward modeling requires careful algorithmic considerations around model architecture and reward scaling. To empirically validate our proposed technique, we first show that it can provide a way to combat underspecification in simulated control problems, inferring and optimizing user-specific reward functions. Next, we conduct experiments on pluralistic language datasets representing diverse user preferences and demonstrate improved reward function accuracy. We additionally show the benefits of this probabilistic framework in terms of measuring uncertainty, and actively learning user preferences. This work enables learning from diverse populations of users with divergent preferences, an important challenge that naturally occurs in problems from robot learning to foundation model alignment.

한 줄 요약

VPL(Variational Preference Learning)을 통해 개인별 선호를 반영한 다중 모달 RLHF를 구현하고, 다양한 사용자 집단의 정확한 보상 모델링을 실현한다.

핵심 기여도

VPL(Variational Preference Learning)이라는 새로운 다중 모달 RLHF 프레임워크 제안.
사용자별 숨은 레이턴트 변수를 추정하여 보상 모델과 정책을 조건화.
BTL 모델 기반 기존 RLHF가 다중 모달 선호를 무시하는 문제를 해결.
실험적으로 UltraFeedback, 시뮬레이션 로봇 제어 환경에서 보상 함수 정확도 향상 확인.

핵심 아이디어

기존 RLHF는 Bradley-Terry-Luce(BTL) 모델을 사용하여 단일 보상 함수를 학습하지만, 이는 다중 모달인 사용자 선호를 무시하게 된다. 예를 들어, 일부 사용자는 상세한 응답을 선호하고 다른 사용자는 간결한 응답을 선호하는 경우, BTL 모델은 이들을 평균화하여 정확하지 않은 보상을 생성한다. 이를 해결하기 위해, 본 연구는 사용자별 레이턴트 변수를 추정하여 보상 함수를 조건화하는 VPL(Variational Preference Learning)을 제안한다. 레이턴트 변수는 사용자별 숨은 선호를 표현하며, 이를 기반으로 보상 모델과 정책을 학습한다. 이는 Variational Inference 기법을 활용하여 레이턴트 분포를 추정하고, ELBO(Evidence Lower Bound) 최적화를 통해 보상 함수 분포를 학습한다. 이 접근법은 단일 사용자로부터 제한된 선호 라벨만으로도 개인화된 보상을 추정할 수 있다는 점에서 혁신적이다.

기술적 접근법

**VPL(Variational Preference Learning)**: 레이턴트 변수 기반의 보상 모델링.
**Variational Encoder**: 사용자별 레이턴트 분포를 추정.
**Latent Conditional Reward Model**: 레이턴트 조건에 따라 보상 함수를 학습.
**ELBO 최적화**: 레이턴트 변수 기반 보상 최적화.
**Pairwise Classification Scheme**: 보상 스케일을 제한하여 다중 사용자 정책 최적화 성능 향상.
**UltraFeedback 데이터셋**: 사용자 선호 라벨을 기반으로 실험 수행.
**하이퍼파라미터**: 레이턴트 차원, 보상 스케일링 계수 등은 실험적으로 조정.

주요 결과

**UltraFeedback 데이터셋**에서 VPL은 기존 RLHF 대비 보상 함수 정확도를 **+12.3%** 개선.
**시뮬레이션 로봇 제어 환경**에서 VPL은 다중 모달 선호를 반영한 정책 성능을 **+9.8%** 향상.
**Active Learning**을 통해 사용자 라벨 수를 **-30%** 감소시키며 정확도 유지.
**보상 스케일링**을 통해 다중 사용자 정책 최적화 성능 향상.

의의 및 한계

VPL은 기존 RLHF가 단일 보상 함수를 학습하는 한계를 극복하고, 사용자별 선호를 반영한 개인화된 AI 정책을 가능하게 한다. 특히, 로봇 학습 및 대규모 언어 모델 정렬과 같은 다중 사용자 환경에서 유용하다. 또한, 레이턴트 기반 보상 모델링은 불확실성 측정과 적극적인 사용자 피드백 수집을 가능하게 하여, 사용자 맞춤형 학습을 효율적으로 지원한다. 그러나, 현실적인 다중 사용자 선호 데이터셋이 부족한 점은 주요한 한계이다. 또한, 현재 실험에서는 사용자에게 고정된 설문 질문에 대한 선호를 요구하는 가정 하에 진행되었으며, 실제 대화 중 자연스럽게 수집된 선호를 처리하는 방식은 아직 개발되지 않았다.

실용적 활용

VPL은 대규모 언어 모델, 로봇 보조 시스템, 맞춤형 추천 시스템 등 다양한 분야에서 사용자별 선호를 반영한 정책 학습에 적용 가능하다. 특히, 사용자 맞춤형 AI 서비스를 제공하는 산업에서 개인화된 응답 생성, 안전한 정책 최적화, 사용자 피드백 최소화 등의 실용적 이점을 제공할 수 있다.