A Minimaximalist Approach to Reinforcement Learning from Human Feedback

We present Self-Play Preference Optimization (SPO), an algorithm for reinforcement learning from human feedback. Our approach is minimalist in that it does not require training a reward model nor unstable adversarial training and is therefore rather simple to implement. Our approach is maximalist in that it provably handles non-Markovian, intransitive, and stochastic preferences while being robust to the compounding errors that plague offline approaches to sequential prediction. To achieve the preceding qualities, we build upon the concept of a Minimax Winner (MW), a notion of preference aggregation from the social choice theory literature that frames learning from preferences as a zero-sum game between two policies. By leveraging the symmetry of this game, we prove that rather than using the traditional technique of dueling two policies to compute the MW, we can simply have a single agent play against itself while maintaining strong convergence guarantees. Practically, this corresponds to sampling multiple trajectories from a policy, asking a preference or teacher model to compare them, and then using the proportion of wins as the reward for a particular trajectory. We demonstrate that on a suite of continuous control tasks, we are able to learn significantly more efficiently than reward-model based approaches while maintaining robustness to the intransitive and stochastic preferences that frequently occur in practice when aggregating human judgments.

한 줄 요약

SPO는 인간 피드백을 기반으로 한 강화학습에서 보상 모델 없이 단일 에이전트가 자기와 경쟁하는 방식으로 정책을 학습하는 알고리즘이다.

핵심 기여도

SPO는 보상 모델 학습 및 적대적 훈련 없이 구현 가능한 단순한 RLHF 알고리즘.
Minimax Winner 개념을 활용해 비마르코비안, 비순환, 확률적 선호를 이론적으로 처리 가능.
단일 에이전트가 자기와 경쟁하는 방식으로 수렴 보장을 유지하면서도 기존 두 정책 간 경쟁 방식을 대체.
연속 제어 작업에서 보상 모델 기반 접근법보다 훨씬 효율적으로 학습.

핵심 아이디어

SPO는 인간의 선호를 기반으로 정책을 최적화하는 RLHF 문제를, 두 정책 간의 제로섬 게임으로 모델링한다. 이는 사회 선택 이론에서 유래한 Minimax Winner 개념을 기반으로 한다. 기존 접근법은 두 정책을 경쟁시켜 Minimax Winner를 찾는 방식을 사용했으나, SPO는 단일 에이전트가 자기 자신과 경쟁하는 방식을 통해 동일한 수렴 보장을 유지하면서도 구현을 단순화한다. 이는 정책에서 여러 트레이젝토리를 샘플링하고, 선호 모델이나 교사 모델을 통해 이들을 비교한 후, 승률을 기반으로 보상을 계산하는 방식이다. 이 접근법은 인간의 선호가 비순환적이고 비결정적일 때에도 안정적으로 작동하며, 보상 모델의 필요성을 제거함으로써 복잡도를 줄인다.

기술적 접근법

**알고리즘**: Self-Play Preference Optimization (SPO)
**모델 구조**: 단일 에이전트가 여러 트레이젝토리를 생성하고, 선호 모델(또는 교사 모델)을 통해 이들을 비교.
**보상 계산**: 각 트레이젝토리의 승률을 보상으로 사용.
**수학적 기반**: Minimax Winner 개념을 기반으로, 선호 함수의 반대칭성(antisymmetry)을 활용.
**수렴 분석**: SPO는 no-regret 알고리즘의 수렴 속도와 동일한 속도로 Minimax Winner에 수렴함을 증명.
**선호 함수**: $ \mathcal{P}(\xi_1, \xi_2) = 2P(\xi_1 \succ \xi_2) - 1 $로 정의, $ \mathcal{P}(\xi_1, \xi_2) = -\mathcal{P}(\xi_2, \xi_1) $.

주요 결과

**데이터셋**: 다양한 선호 설정(예: 비마르코비안, 비순환, 확률적)을 포함한 연속 제어 작업.
**성능**: SPO는 보상 모델 기반 접근법보다 샘플 효율성이 높음.
**비교**: 트레이젝토리 수준의 비교, 비마르코비안 선호, 비순환적 선호 등 복잡한 설정에서도 우수한 성능.
**수치**: Figure 2에서 SPO가 복잡한 설정에서도 뛰어난 성능을 보임 (구체적 수치는 명시되지 않음).

의의 및 한계

SPO는 기존 RLHF 접근법에서 발생하는 보상 모델 학습의 불확실성과 적대적 훈련의 불안정성을 제거함으로써, 인간의 비결정적이고 비순환적인 선호를 처리하는 이론적으로 탄탄한 방법을 제공한다. 또한, 단일 에이전트가 자기와 경쟁하는 방식은 구현을 단순화하고 수렴 보장을 유지한다. 그러나 선호 함수가 복잡하거나 불확실할 경우, 여러 샘플링이 필요해져 계산 비용이 증가할 수 있다. 또한, 선호 모델 기반 접근법과 비교했을 때, 상황에 따라 여러 번의 샘플링이 필요하다는 점이 한계로 작용할 수 있다.

실용적 활용

SPO는 로봇 제어, 추천 시스템, 대형 언어 모델의 정렬(fine-tuning) 등 인간 피드백이 필요한 다양한 분야에 적용 가능하다. 특히, 보상 모델 없이도 정책을 학습할 수 있어, 대규모 인간 레이블 데이터가 필요한 상황에서 유용하다. 또한, AI 피드백(예: 대형 모델이 생성물을 비교하는 경우)을 기반으로 정책을 직접 최적화할 수 있어, 실제 산업 및 연구 환경에서 실용적 활용성이 높다.