Generalized Preference Optimization: A Unified Approach to Offline Alignment

Offline preference optimization allows fine-tuning large models directly from offline data, and has proved effective in recent alignment practices. We propose generalized preference optimization (GPO), a family of offline losses parameterized by a general class of convex functions. GPO enables a unified view over preference optimization, encompassing existing algorithms such as DPO, IPO and SLiC as special cases, while naturally introducing new variants. The GPO framework also sheds light on how offline algorithms enforce regularization, through the design of the convex function that defines the loss. Our analysis and experiments reveal the connections and subtle differences between the offline regularization and the KL divergence regularization intended by the canonical RLHF formulation. In a controlled setting akin to Gao et al 2023, we also show that different GPO variants achieve similar trade-offs between regularization and performance, though the optimal values of hyper-parameter might differ as predicted by theory. In all, our results present new algorithmic toolkits and empirical insights to alignment practitioners.

한 줄 요약

GPO는 DPO, IPO, SLiC를 포함하는 오프라인 선호 최적화의 통합적 접근법을 제시한다.

핵심 기여도

GPO는 DPO, IPO, SLiC를 포함하는 볼록 함수로 매개화된 오프라인 손실 함수의 가족이다.
오프라인 손실이 πθ와 πref 사이의 정규화를 어떻게 유도하는지를 분석한다.
KL 발산 정규화와 오프라인 정규화 간의 차이를 실험적으로 밝힌다.
β 값의 선택이 GPO 변형의 성능에 더 큰 영향을 미친다는 것을 보인다.

핵심 아이디어

GPO는 기존의 오프라인 선호 최적화 알고리즘(DPO, IPO, SLiC)을 볼록 함수 f로 매개화하여 통합적으로 다룰 수 있도록 설계되었다. 이 접근법은 보상 모델링을 이진 분류 문제로 해석함으로써 기존 알고리즘을 재구성하고, 새로운 알고리즘을 자연스럽게 도출할 수 있도록 한다. 볼록 함수 f의 꼬리 행동은 πθ와 πref 간의 정규화 강도를 결정하며, 이는 β와 같은 하이퍼파라미터의 선택에 영향을 미친다. 이 통찰은 오프라인 손실이 KL 발산 정규화와 어떻게 차별화되는지를 이해하는 데 기여한다.

기술적 접근법

GPO는 볼록 함수 f로 매개화된 오프라인 손실 함수를 정의한다.
DPO, IPO, SLiC는 GPO의 특별한 경우로 포함된다.
보상 모델링은 이진 분류 문제로 해석되며, 이는 기존 오프라인 알고리즘과 새로운 알고리즘의 설계에 활용된다.
볼록 함수 f의 선택은 정규화 강도를 결정하며, 이는 πθ와 πref 간의 거리에 영향을 준다.
β는 f의 형태에 따라 적절히 조정되어야 하며, 실험적으로 이 값이 GPO 변형의 성능에 큰 영향을 미친다.

주요 결과

GPO 변형은 정규화와 성능 간의 유사한 트레이드오프를 보인다.
LLM 요약 작업에서 β 값의 선택이 GPO 변형의 성능에 더 큰 영향을 미친다.
KL 발산 정규화와 오프라인 정규화는 이론적으로 유사하지만, 실험적으로는 차이가 나타난다.
GPO는 DPO, IPO, SLiC를 포함하며, 새로운 알고리즘의 설계를 가능하게 한다.

의의 및 한계

GPO는 오프라인 선호 최적화 알고리즘을 통합적으로 이해하고 새로운 알고리즘을 설계하는 데 유용한 도구를 제공한다. 특히, 볼록 함수 f의 선택을 통해 정규화 강도를 조절할 수 있다는 점에서 이론적 통찰을 제공한다. 그러나 β 값의 선택이 실험적으로 중요하다는 점은 GPO의 실용적 활용에 있어 주의 깊은 파라미터 조정이 필요함을 시사한다. 또한, KL 발산 정규화와 오프라인 정규화 간의 차이는 기존 연구의 '등가성' 주장에 대한 한계를 드러낸다.

실용적 활용

GPO는 오프라인 데이터만으로 대형 언어 모델을 정렬하는 데 적용 가능하다. 특히, DPO, IPO, SLiC와 같은 알고리즘을 통합적으로 다루고, 새로운 알고리즘을 설계할 수 있어, 정렬 연구 및 개발에 유용한 도구가 될 수 있다. β 값의 조정을 통해 정규화 강도를 조절할 수 있으므로, 실제 시스템에서 성능과 안정성의 균형을 맞추는 데 활용할 수 있다.