Arithmetic Control of LLMs for Diverse User Preferences: Directional Preference Alignment with Multi-Objective Rewards

Fine-grained control over large language models (LLMs) remains a significant challenge, hindering their adaptability to diverse user needs. While Reinforcement Learning from Human Feedback (RLHF) shows promise in aligning LLMs, its reliance on scalar rewards often limits its ability to capture diverse user preferences in real-world applications. To address this limitation, we introduce the Directional Preference Alignment (DPA) framework. Unlike the scalar-reward RLHF, DPA incorporates multi-objective reward modeling to represent diverse preference profiles. Additionally, DPA models user preferences as directions (i.e., unit vectors) in the reward space to achieve user-dependent preference control. Our method involves training a multi-objective reward model and then fine-tuning the LLM with a preference-conditioned variant of Rejection Sampling Finetuning (RSF), an RLHF method adopted by Llama 2. This method enjoys a better performance trade-off across various reward objectives. In comparison with the scalar-reward RLHF, DPA offers users intuitive control over LLM generation: they can arithmetically specify their desired trade-offs (e.g., more helpfulness with less verbosity). We also validate the effectiveness of DPA with real-world alignment experiments on Mistral-7B. Our method provides straightforward arithmetic control over the trade-off between helpfulness and verbosity while maintaining competitive performance with strong baselines such as Direct Preference Optimization (DPO).

한 줄 요약

DPA는 사용자 선호도를 방향 벡터로 모델링하여 LLM의 유연한 제어를 가능하게 하는 다목적 보상 기반 정렬 프레임워크이다.

핵심 기여도

DPA는 단일 보상이 아닌 다목적 보상 모델을 도입하여 다양한 사용자 선호도를 포착한다.
사용자 선호도를 단위 벡터(예: ⟨helpfulness, verbosity⟩)로 표현하여 수치적 조절이 가능하다.
Mistral-7B에서 DPA는 유용성과 간결성 간의 트레이드오프를 직관적으로 제어할 수 있다.
기존 강화 학습 기반 정렬(RLHF) 대비 더 나은 성능-트레이드오프를 보인다.

핵심 아이디어

기존 RLHF는 단일 스칼라 보상만 사용하여 사용자 선호도를 표현하기 때문에, 복잡하거나 모순적인 선호도를 포착하는 데 한계가 있다. DPA는 이 문제를 해결하기 위해 다목적 보상 모델을 도입하고, 사용자 선호도를 단위 벡터로 표현한다. 예를 들어, 유용성과 간결성 두 가지 목표를 고려할 경우, 사용자는 ⟨v₁, v₂⟩ (‖v‖₂ = 1) 형태의 벡터를 입력으로 제공하면 된다. 이 벡터는 LLM이 생성할 응답의 보상을 계산하는 데 사용되며, reward = v₁ × helpfulness + v₂ × verbosity와 같은 방식으로 최적화된다. 이는 사용자가 수치적으로 선호도를 조절할 수 있게 하며, 기존 RLHF가 평균 사용자 선호도에만 맞춰지는 문제를 해결한다.

기술적 접근법

**다목적 보상 모델**: 여러 선호도(예: 유용성, 간결성)를 각각 다른 차원으로 모델링.
**Directional Preference Alignment (DPA)**: 사용자 선호도를 단위 벡터로 인코딩하여 LLM 정렬에 반영.
**RSF(Rejection Sampling Finetuning)의 변형**: Llama 2에서 사용된 RLHF 방법론을 기반으로, 선호도 조건을 반영한 미세 조정 수행.
**Mistral-7B 모델 사용**: 실제 정렬 실험을 통해 DPA의 효과 검증.
**보상 벡터 정규화**: ‖v‖₂ = 1 조건을 통해 사용자 입력 벡터의 일관성 보장.

주요 결과

Mistral-7B 데이터셋에서 DPA는 유용성과 간결성 간의 트레이드오프를 직관적으로 제어할 수 있음.
DPO(Direct Preference Optimization)와 비교했을 때 유사한 성능 유지하면서도 더 유연한 제어 가능.
사용자가 ⟨helpfulness, verbosity⟩ 벡터를 조절하면, 생성 응답이 해당 방향으로 최적화됨.
기존 RLHF 대비 더 나은 성능-트레이드오프를 보이며, 사용자별 선호도에 따라 유연한 응답 생성 가능.

의의 및 한계

DPA는 단일 보상 기반 RLHF의 한계를 극복하고, 다양한 사용자 그룹의 복잡한 선호도를 포착할 수 있는 새로운 정렬 프레임워크를 제시한다. 특히, 사용자가 수치적으로 선호도를 조절할 수 있어 개인화된 응답 생성이 가능하다는 점에서 실용적 가치가 크다. 그러나 DPA는 다목적 보상 모델을 학습시키는 데 추가적인 데이터와 계산 자원이 필요하며, 모든 사용자 선호도를 정확히 반영하기 위해서는 더 많은 실험과 검증이 필요하다. 또한, 사용자 입력 벡터가 실제 가능 영역을 벗어날 경우 제어가 어려울 수 있다.

실용적 활용

DPA는 고객 맞춤형 챗봇, 개인화된 추천 시스템, 의료 상담 AI 등 다양한 분야에서 사용자 선호도에 따라 유연하게 응답을 조절해야 하는 상황에 적용 가능하다. 특히, 사용자가 특정 기준(예: 간결성, 정확도)을 수치적으로 조절하여 AI의 출력을 직접 제어할 수 있어, 고객 서비스 및 교육 분야에서 활용도가 높다.