Is DPO Superior to PPO for LLM Alignment? A Comprehensive Study

Reinforcement Learning from Human Feedback (RLHF) is currently the most widely used method to align large language models (LLMs) with human preferences. Existing RLHF methods can be roughly categorized as either reward-based or reward-free. Novel applications such as ChatGPT and Claude leverage reward-based methods that first learn a reward model and apply actor-critic algorithms, such as Proximal Policy Optimization (PPO). However, in academic benchmarks, state-of-the-art results are often achieved via reward-free methods, such as Direct Preference Optimization (DPO). Is DPO truly superior to PPO? Why does PPO perform poorly on these benchmarks? In this paper, we first conduct both theoretical and empirical studies on the algorithmic properties of DPO and show that DPO may have fundamental limitations. Moreover, we also comprehensively examine PPO and reveal the key factors for the best performances of PPO in fine-tuning LLMs. Finally, we benchmark DPO and PPO across a collection of RLHF testbeds, ranging from dialogue to code generation. Experiment results demonstrate that PPO is able to surpass other alignment methods in all cases and achieve state-of-the-art results in challenging code competitions. Our code is publicly available at https://github.com/openpsi-project/ReaLHF.

한 줄 요약

PPO는 DPO보다 대규모 언어 모델 정렬에서 더 우수한 성능을 보인다.

핵심 기여도

DPO는 정책 최적화에 있어 분포 이동에 민감하며, 이는 성능 저하의 주요 원인임을 이론적으로 밝힘.
PPO의 최적 성능을 위한 핵심 요소로 advantage normalization, 대규모 배치 크기, reference model의 지수 이동 평균 업데이트를 제시.
CodeContest 데이터셋에서 34B 파라미터 PPO 모델이 AlphaCode-41B 모델보다 10@1k 정확도에서 16.4% → 22.4%로 개선됨을 실증.
PPO는 대화 생성 및 코드 생성 등 다양한 RLHF 벤치마크에서 DPO를 꾸준히 초과함.

핵심 아이디어

DPO는 reward-free 접근법으로, reward function을 정책의 로그 형태로 표현하며 정책 최적화에 집중한다. 그러나 이 연구는 DPO가 out-of-distribution 응답을 활용하는 편향된 솔루션을 찾을 수 있음을 이론적으로 밝혔다. 특히, DPO는 base model의 출력과 preference 데이터 간의 분포 이동(distribution shift)에 민감하게 반응하여 성능이 저하된다.

반면, PPO는 reward-based 접근법으로, reward model을 학습한 후 actor-critic 알고리즘을 통해 정책을 최적화한다. 본 연구는 PPO의 성능을 향상시키기 위한 핵심 요소를 탐구하여 advantage normalization, 대규모 배치 크기, reference model의 지수 이동 평균 업데이트가 핵심임을 밝혔다. 이러한 요소들이 PPO의 안정성과 성능을 크게 향상시킨다.

기술적 접근법

DPO: reward-free 방식으로, reward function을 정책의 로그 형태로 표현.
PPO: reward-based 방식으로, actor-critic 알고리즘을 사용. 핵심 요소로 advantage normalization, large batch size, reference model의 exponential moving average update가 포함됨.
실험: CodeContest, 대화 생성 등 다양한 RLHF 테스트베드에서 DPO와 PPO 비교.
하이퍼파라미터: PPO는 대규모 배치 크기와 advantage normalization을 적용한 상태에서 훈련됨.

주요 결과

CodeContest 데이터셋에서 PPO(34B)는 AlphaCode-41B 대비 10@1k 정확도에서 16.4% → 22.4%로 6.0% 개선됨.
대화 생성 및 코드 생성 등 다양한 RLHF 벤치마크에서 PPO가 DPO를 꾸준히 초과함.
DPO는 preference 데이터와 base model 출력 간의 분포 이동에 민감하여 성능 저하됨.

의의 및 한계

본 연구는 DPO의 이론적 한계를 밝히고, PPO의 실용적 성능 향상을 위한 핵심 요소를 제시함으로써 RLHF 분야에서의 알고리즘 선택에 중요한 통찰을 제공한다. 특히, PPO가 다양한 실제 작업에서 DPO를 능가함을 실증적으로 입증하였다.

그러나 본 연구는 reward model의 효과적인 훈련 방법에 대한 논의는 제한적으로 다루었으며, 이는 향후 연구 주제로 남아 있다. 또한, DPO는 반복 학습(iterative DPO)을 통해 일부 개선이 가능하지만, 코드 생성과 같은 어려운 작업에서는 여전히 성능이 제한된다.

실용적 활용

PPO는 대화 생성, 코드 생성 등 다양한 LLM 정렬 작업에서 뛰어난 성능을 보이므로, 산업적 응용 및 연구 개발에 적합한 알고리즘으로 활용될 수 있다. 특히, advantage normalization 및 reference model 업데이트 전략은 PPO의 안정성과 확장성을 높이는 데 유용하다.