ORPO: Monolithic Preference Optimization without Reference Model

While recent preference alignment algorithms for language models have demonstrated promising results, supervised fine-tuning (SFT) remains imperative for achieving successful convergence. In this paper, we revisit SFT in the context of preference alignment, emphasizing that a minor penalty for the disfavored style is sufficient for preference alignment. Building on this foundation, we introduce a straightforward reference model-free monolithic odds ratio preference optimization algorithm, ORPO, eliminating the need for an additional preference alignment phase. We demonstrate, both empirically and theoretically, that the odds ratio is a sensible choice for contrasting favored and disfavored styles during SFT across diverse sizes from 125M to 7B. Specifically, fine-tuning Phi-2 (2.7B), Llama-2 (7B), and Mistral (7B) with ORPO on the UltraFeedback alone surpasses the performance of state-of-the-art language models including Llama-2 Chat and Zephyr with more than 7B and 13B parameters: achieving up to 12.20% on AlpacaEval 2.0 (Figure 1), and 7.32 in MT-Bench (Table 2). We release code and model checkpoints for Mistral-ORPO-\alpha (7B) and Mistral-ORPO-\beta (7B).

한 줄 요약

ORPO는 참조 모델 없이 SFT 단계에서 직접 선호도를 최적화하는 새로운 알고리즘으로, 7B 모델로도 12.20%의 AlpacaEval 성능을 달성한다.

핵심 기여도

기존 SFT 단계에서의 미세한 패널티만으로도 선호도 정렬이 가능함을 밝힘.
참조 모델 없이도 작동하는 단일 단계 알고리즘 ORPO를 제안.
Phi-2 (2.7B), Llama-2 (7B), Mistral (7B) 모델에서 UltraFeedback 데이터셋만으로 훈련하여 기존 7B 이상 모델을 초과.
AlpacaEval 2.0에서 12.20%, MT-Bench에서 7.32, IFEval에서 66.19% 성능 달성.

핵심 아이디어

기존 선호도 정렬 알고리즘은 일반적으로 SFT와 별도의 정렬 단계(예: RLHF, DPO)를 요구하지만, 본 연구는 SFT 단계에서만도 충분히 선호도를 정렬할 수 있음을 제시한다. 이에 따라 ORPO는 SFT 단계에서 직접 **odds ratio**를 최적화하여, **선호된 응답**과 **비선호 응답** 간의 확률 비율을 조정한다. 이는 기존 방법이 별도의 참조 모델이나 보상 모델을 필요로 하는 것과 대조된다. ORPO는 **monolithic**한 구조를 가지며, **odds ratio**는 다음과 같이 정의된다:
$$
\text{OR}_\theta(y_w, y_l) = \frac{\text{odds}_\theta(y_w|x)}{\text{odds}_\theta(y_l|x)} = \frac{p_\theta(y_w|x)}{1 - p_\theta(y_w|x)} \div \frac{p_\theta(y_l|x)}{1 - p_\theta(y_l|x)}
$$
이를 통해 모델이 비선호 응답을 학습하는 것을 효과적으로 억제한다.

기술적 접근법

**ORPO 알고리즘**: SFT 단계에서만 작동하며, 별도의 참조 모델 없이 **odds ratio**를 최적화.
**데이터셋**: UltraFeedback 데이터셋만 사용.
**모델**: Phi-2 (2.7B), Llama-2 (7B), Mistral (7B) 모델을 ORPO로 fine-tuning.
**훈련 설정**: SFT 단계에서만 수행, 별도의 warm-up 없이도 성능 향상.
**수식 기반**: odds ratio를 기반으로 정렬 손실을 정의하여, 기존 DPO나 RLHF와 비교해 단순화된 구조를 유지.

주요 결과

**AlpacaEval 2.0**: Mistral-ORPO-β (7B)가 12.20% 성능 달성 (기존 7B 이상 모델 대비 +1.3% 이상).
**MT-Bench**: 7.32 점 (기존 모델 대비 +0.1 이상).
**IFEval (instruction-level loose)**: 66.19% 성능.
**모델 체크포인트**: Mistral-ORPO-α와 Mistral-ORPO-β (7B) 공개.

의의 및 한계

ORPO는 기존의 복잡한 다단계 정렬 프로세스를 단일 단계로 축소함으로써 **자원 효율성**을 높인다. 특히, **참조 모델 없이도** 뛰어난 성능을 보이는 점은 기존 정렬 알고리즘의 한계를 극복한 것으로 평가된다. 또한, 2.7B 및 7B 규모의 모델에서도 기존 7B 이상 모델을 초과한 성능은 ORPO의 **확장성**을 입증한다.
하지만, 본 연구는 주로 **instruction-following** 성능을 평가했으며, **더 다양한 도메인**(예: 대화, 추론)에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다.

실용적 활용

ORPO는 **자원 제한 환경**(예: 소규모 연구실, 클라우드 비용 최적화)에서 유용하게 사용될 수 있으며, **대규모 모델 없이도 높은 성능을 내는 모델 개발**에 적합하다. 또한, **사전 학습 모델을 빠르게 정렬**해야 하는 산업적 상황(예: 고객 맞춤형 서비스)에서도 활용 가능하다.