SimPO: Simple Preference Optimization with a Reference-Free Reward

Direct Preference Optimization (DPO) is a widely used offline preference optimization algorithm that reparameterizes reward functions in reinforcement learning from human feedback (RLHF) to enhance simplicity and training stability. In this work, we propose SimPO, a simpler yet more effective approach. The effectiveness of SimPO is attributed to a key design: using the average log probability of a sequence as the implicit reward. This reward formulation better aligns with model generation and eliminates the need for a reference model, making it more compute and memory efficient. Additionally, we introduce a target reward margin to the Bradley-Terry objective to encourage a larger margin between the winning and losing responses, further improving the algorithm's performance. We compare SimPO to DPO and its latest variants across various state-of-the-art training setups, including both base and instruction-tuned models such as Mistral, Llama 3, and Gemma 2. We evaluate on extensive chat-based evaluation benchmarks, including AlpacaEval 2, MT-Bench, and Arena-Hard. Our results demonstrate that SimPO consistently and significantly outperforms existing approaches without substantially increasing response length. Specifically, SimPO outperforms DPO by up to 6.4 points on AlpacaEval 2 and by up to 7.5 points on Arena-Hard. Our top-performing model, built on Gemma-2-9B-it, achieves a 72.4% length-controlled win rate on AlpacaEval 2, a 59.1% win rate on Arena-Hard, and ranks 1st on Chatbot Arena among<10B models with real user votes.

한 줄 요약

SimPO는 DPO 대비 6.4~7.5 포인트 개선된 성능을 보이는 reference-free reward 기반 오프라인 선호 최적화 알고리즘이다.

핵심 기여도

SimPO는 평균 로그 확률을 암묵적 보상으로 사용하여 reference model을 제거함으로써 계산 및 메모리 효율성을 높임.
Bradley-Terry 목적 함수에 target reward margin을 도입하여 승리/패배 응답 간의 보상을 증가시킴.
Llama3-8B-Instruct 기반 모델이 AlpacaEval 2에서 44.7% (length-controlled win rate), Arena-Hard에서 33.8%의 성능을 달성함.
DPO 대비 AlpacaEval 2에서 최대 6.4점, Arena-Hard에서 최대 7.5점 개선됨.

핵심 아이디어

SimPO는 기존 DPO가 사용하는 SFT 모델 기반의 로그 확률 비율 대신, 정책 모델 기반의 평균 로그 확률을 암묵적 보상으로 사용한다. 이는 생성 과정에서 사용되는 평균 로그 확률과 직접적으로 일치하여, 학습과 추론 간의 불일치를 줄이는 핵심 통찰이다. 또한, Bradley-Terry 목적 함수에 target reward margin을 추가하여 승리 응답과 패배 응답 간의 보상을 명확히 구분하도록 유도한다. 이는 보다 정확한 정책 학습을 가능하게 한다.

기술적 접근법

**Reward Function**: 평균 로그 확률을 사용하여 암묵적 보상을 정의함.
**Target Reward Margin**: Bradley-Terry 목적 함수에 추가된 margin으로, 승리/패배 응답 간의 보상 차이를 강화함.
**Model Setup**: Mistral, Llama3, Gemma 2 등 다양한 기반 및 instruction-tuned 모델에서 실험 수행.
**Training Setup**: 오프라인 선호 최적화 알고리즘으로, reward model 없이 정책 모델만 학습함.
**Hyperparameters**: 명시되지 않음.

주요 결과

**AlpacaEval 2**: SimPO는 DPO 대비 최대 6.4점 개선됨. Llama3-8B-Instruct 기반 모델은 44.7%의 length-controlled win rate를 달성함.
**Arena-Hard**: SimPO는 DPO 대비 최대 7.5점 개선됨. Llama3-8B-Instruct 기반 모델은 33.8%의 win rate를 달성함.
**MT-Bench**: GPT-4 기준 평균 점수로 평가됨.
**Response Length**: SimPO는 SFT 및 DPO 모델 대비 응답 길이 증가 없이 성능 향상됨.

의의 및 한계

SimPO는 reference model을 제거함으로써 DPO보다 더 가볍고 구현이 용이하며, 다양한 instruction-tuned 모델에서 일관된 성능 향상을 보인다. 특히, AlpacaEval 2와 Arena-Hard에서 Claude 3 Opus를 제치는 성능을 보이며, open-source 8B 모델 중 최고 성능을 달성하였다. 그러나, SimPO는 특정 instruction-tuned 모델에 의존적이며, 다양한 도메인에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다.

실용적 활용

SimPO는 대규모 언어 모델의 인간 피드백 기반 정책 최적화에 적합하며, 특히 오프라인 학습 환경에서 높은 효율성과 성능을 요구하는 챗봇 개발, 고객 서비스 자동화, 교육용 AI 등에 활용 가능하다.