Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment

Direct Preference Optimization (DPO) has emerged as a popular alternative to Reinforcement Learning from Human Feedback (RLHF), offering theoretical equivalence with simpler implementation. We prove this equivalence is conditional rather than universal, depending on an implicit assumption frequently violated in practice: the RLHF-optimal policy must prefer human-preferred responses. When this assumption fails, DPO optimizes relative advantage over the reference policy rather than absolute alignment with human preferences, leading to pathological convergence where policies decrease DPO loss while preferring dispreferred responses. We characterize when this assumption is violated, show the existence of an undesirable solution space, and prove that DPO and RLHF optimize fundamentally different objectives in such cases. To address this, we introduce Constrained Preference Optimization (CPO), augmenting RLHF with constraints for provable alignment. We further provide a geometric interpretation through soft margin ranking, revealing that DPO implements margin ranking with potentially negative targets. Our theoretical analysis establishes when DPOs' guarantees hold and provides solutions preserving simplicity with provable alignment. Comprehensive experiments on standard benchmarks demonstrate that CPO achieves state-of-the-art performance. Code is available at: https://github.com/visitworld123/CPO.

📋 한 줄 요약

**[DPO 이론 / Alignment]** DPO–RLHF의 동치성이 "RLHF-optimal 정책이 인간 선호 응답을 선호한다"는 implicit 가정 하에서만 성립함을 증명·실패 모드 특성화, Constrained Preference Optimization(CPO)로 provable alignment 보장·SOTA 달성.

🎯 핵심 기여도

DPO가 RLHF의 대안으로 부상 — 이론적 동치성과 더 단순한 구현 제공함을 배경.
이 동치성이 universal이 아닌 conditional임을 증명 — 실무에서 자주 위반되는 implicit 가정에 의존: RLHF-optimal 정책이 인간 선호 응답을 선호해야 한다는 가정.
가정이 위반되면 DPO가 인간 선호와의 absolute alignment 대신 reference policy 대비 relative advantage를 최적화 — 정책이 dispreferred 응답을 선호하면서도 DPO loss를 감소시키는 pathological convergence 유발.
위반 조건 특성화·undesirable solution space 존재 증명·DPO와 RLHF가 이러한 경우 fundamentally 다른 objective 최적화 입증.
Constrained Preference Optimization(CPO) 도입 — RLHF에 constraint를 더해 provable alignment 보장.
Soft margin ranking으로 geometric 해석 제공 — DPO가 잠재적 음수 target의 margin ranking을 구현함을 노출.

💡 핵심 아이디어

DPO와 RLHF의 동치성은 "RLHF-optimal 정책이 인간 선호 응답을 더 선호한다"는 implicit 가정에 묶여 있고, 가정이 깨지면 DPO는 relative advantage를 최적화하면서 dispreferred 응답을 선호하는 pathology에 빠지므로, RLHF에 제약을 더한 CPO로 absolute alignment를 provable하게 회복해야 한다.

🔬 기술적 접근법

**방법론**: DPO–RLHF 조건부 동치성 이론 + Constrained Preference Optimization(CPO).
**핵심 기법**: (1) DPO–RLHF 동치성의 implicit assumption 형식화 — RLHF-optimal 정책이 인간 선호 응답을 prefer해야 함, (2) 가정 위반 시 DPO가 reference policy 대비 relative advantage 최적화·pathological convergence 증명, (3) Undesirable solution space 존재 증명·DPO·RLHF가 이 경우 다른 objective임을 입증, (4) CPO — RLHF에 constraint 추가로 provable alignment 보장, (5) Soft margin ranking 기반 geometric 해석 — DPO가 음수 target의 margin ranking 구현.

📊 주요 결과

DPO–RLHF 동치성의 conditional 성격과 실패 모드의 이론 특성화.
CPO가 표준 벤치마크에서 state-of-the-art 성능 달성.
Provable alignment를 단순성 유지하면서 제공.
Code 공개: github.com/visitworld123/CPO.

💭 의의 및 한계

**의의**: DPO의 이론적 한계를 정량적으로 노출하고 그 실패 모드를 형식화, RLHF 제약 보강(CPO)으로 provable alignment 회복, soft margin ranking 해석으로 DPO를 기하학적 이해. **한계**: 이론 가정의 검증 가능성·실제 데이터에서의 빈도 측정 필요, CPO 제약 설계가 도메인 의존, RLHF compute 오버헤드 유지.

🚀 실용적 활용

LLM alignment의 안전한 대안(DPO 대신 CPO).
DPO 실패 진단의 이론 도구.
Preference optimization 일반 design framework.