Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization

Reinforcement learning with verifiable rewards (RLVR) commonly uses entropy for advantage shaping. However, entropy cannot distinguish useful uncertainty from detrimental confusion, limiting its effectiveness as a correctness signal. We propose Contrastive Policy Optimization (CPO), which uses token-level contrastive disagreement between reference-guided and vanilla generation distributions for correctness-aware advantage shaping. Both theoretical and empirical results show that this disagreement reliably indicates token-level correctness. We further show that On-policy Distillation is a special case of CPO, where the posterior distribution is instantiated by an external teacher model. CPO also resolves the zero-advantage problem. Experiments on in-domain and out-of-domain benchmarks demonstrate that CPO substantially outperforms entropy-based RLVR methods while maintaining strong generalization. Further analysis shows that correct and incorrect responses naturally support exploration and exploitation respectively, and balancing both leads to the best performance.

한 줄 요약

CPO는 참조 기반 생성과 일반 생성 간의 토큰 수준 대조 차이를 활용해 RLVR에서 정확성 인식형 advantage shaping을 구현한다.

핵심 기여도

CPO는 토큰 수준 대조 차이를 활용한 정확성 인식형 advantage shaping을 제안하며, 이는 기존 엔트로피 기반 방법보다 훨씬 신뢰할 수 있음.
On-policy Distillation(OPD)이 CPO의 특수한 경우임을 이론적으로 밝힘.
CPO는 기존 RLVR에서 발생하는 zero-advantage 문제를 해결함.
Qwen2.5-Math-7B와 Qwen3-Base-4B에서 GRPO 대비 평균 7.7%와 8.5% 개선됨.

핵심 아이디어

기존 RLVR에서 사용되는 엔트로피는 유용한 불확실성과 해로운 혼란을 구분하지 못해 정확성 신호로서 한계가 있다. CPO는 참조 기반 생성 분포와 일반 생성 분포 간의 토큰 수준 대조 차이를 활용해 정확성에 민감한 advantage shaping을 구현한다. 이는 학습 도중 각 토큰의 정확성 여부를 명확히 반영할 수 있도록 해준다. 이 접근법은 학습 초기에 발생하는 zero-advantage 문제를 해결하며, 정확한 토큰은 탐색을, 오류 토큰은 활용을 촉진해 전체 성능 향상에 기여한다.

기술적 접근법

**CPO**: 토큰 수준에서 참조 기반 생성 분포와 일반 생성 분포 간의 대조 차이를 계산하여 advantage shaping을 수행.
**Weighted disagreement**: $ \pi_{\text{post}} \log \frac{\pi_{\text{post}}}{\pi} $ 형태로 계산.
**Advantage clipping**: advantage 방향의 일관성을 유지하기 위해 적용.
**Reference-guided prompt**: 기본적으로 single-turn first-person prompt 사용. 2-turn gold-shot 및 1-shot 방식도 실험.
**Trajectory-level advantage**: 토큰 수준의 대조 차이를 평균화하여 사용했으나, 성능 저하를 초래함.

주요 결과

**MATH-500**: CPO는 89.0% 달성. GRPO 대비 +7.7% 개선.
**AIME2024**: 60.0% 달성. GRPO 대비 +4.2% 개선.
**MMLU-PRO**: 69.0% 달성. GRPO 대비 +4.2% 개선.
**CPO_neg (오류 응답만 학습)**: in-domain 성능 유지, out-of-domain 성능 감소 (−4.2% on MMLU-PRO).
**CPO_pos (정확 응답만 학습)**: out-of-domain 성능 유지, in-domain 성능 감소.
**2-turn gold-shot**: 89.4% 달성. 기본 CPO 대비 약간 낮음.
**Trajectory-level advantage**: out-of-domain 성능 감소 (−6.8% on MMLU-PRO).

의의 및 한계

CPO는 기존 엔트로피 기반 RLVR의 한계를 극복하고, 정확성에 기반한 토큰 수준 학습을 가능하게 하여 수학 추론 및 out-of-domain 일반화를 동시에 향상시킨다. 이론적으로는 OPD를 포함한 다양한 방법을 통합하는 correctness-driven framework를 제시한다. 그러나, CPO는 참조 기반 생성에 의존하므로 참조가 부재하거나 불확실한 상황에서는 효과가 제한될 수 있다. 또한, advantage clipping과 같은 하이퍼파라미터 조정이 성능에 큰 영향을 미치므로, 이를 최적화하는 것이 중요하다.

실용적 활용

CPO는 수학 문제 해결, 프로그래밍, 논리 추론 등 정확성 기반 학습이 필요한 분야에서 활용 가능하다. 특히, 대규모 학습 데이터에서 효과적인 탐색과 활용을 동시에 수행할 수 있어, 교육 AI, 코드 생성, 복잡한 추론 시스템 등에 적용할 수 있다.