Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models

Harnessing the power of human-annotated data through Supervised Fine-Tuning (SFT) is pivotal for advancing Large Language Models (LLMs). In this paper, we delve into the prospect of growing a strong LLM out of a weak one without the need for acquiring additional human-annotated data. We propose a new fine-tuning method called Self-Play fIne-tuNing (SPIN), which starts from a supervised fine-tuned model. At the heart of SPIN lies a self-play mechanism, where the LLM refines its capability by playing against instances of itself. More specifically, the LLM generates its own training data from its previous iterations, refining its policy by discerning these self-generated responses from those obtained from human-annotated data. Our method progressively elevates the LLM from a nascent model to a formidable one, unlocking the full potential of human-annotated demonstration data for SFT. Theoretically, we prove that the global optimum to the training objective function of our method is achieved only when the LLM policy aligns with the target data distribution. Empirically, we evaluate our method on several benchmark datasets including the HuggingFace Open LLM Leaderboard, MT-Bench, and datasets from Big-Bench. Our results show that SPIN can significantly improve the LLM's performance across a variety of benchmarks and even outperform models trained through direct preference optimization (DPO) supplemented with extra GPT-4 preference data. This sheds light on the promise of self-play, enabling the achievement of human-level performance in LLMs without the need for expert opponents. Codes are available at https://github.com/uclaml/SPIN.

한 줄 요약

Self-Play fIne-tuNing(SPIN)은 추가 인공 데이터 없이 약한 언어 모델을 강력한 모델로 전환하는 새로운 미세조정 방법이다.

핵심 기여도

SPIN은 Self-Play 메커니즘을 도입하여, 모델이 이전 버전과 스스로 경쟁하며 학습함으로써 인간 라벨 데이터의 전이를 최대화한다.
SPIN은 DPO(Direct Preference Optimization)에 GPT-4 데이터를 추가한 모델보다 HuggingFace Open LLM Leaderboard에서 63.16점(기존 58.14점 대비 +10%)의 성능 향상을 보인다.
이론적으로, SPIN의 최적화 목표는 모델 정책이 인간 라벨 데이터 분포와 일치할 때 달성됨을 증명한다.
50k 크기의 Ultrachat200k 데이터만으로도 성능 향상이 가능하다는 점에서 데이터 효율성이 입증된다.

핵심 아이디어

SPIN은 기존의 인간 라벨 데이터 기반 SFT(Supervised Fine-Tuning)에서 출발하여, 모델이 이전 버전과 스스로 경쟁하는 방식으로 정책을 반복적으로 개선한다. 이는 게임 이론에서 유래한 Self-Play 메커니즘을 언어 모델 학습에 적용한 것으로, 모델이 스스로 생성한 응답과 인간 라벨 응답을 구분하도록 학습한다. 이 과정에서 모델은 `p_{\bm{\theta}_{t}}`와 `p_{\bm{\theta}_{t+1}}`의 정책 간 경쟁을 통해 점진적으로 `p_{\mathrm{data}}`와 일치하도록 정렬된다. 이는 GAN과 유사한 구조이지만, 생성자와 판별자가 동일한 LLM의 다른 버전이라는 점에서 차별화된다.

기술적 접근법

**모델**: `zephyr-7b-sft-full` (Mistral-7B 기반, Ultrachat200k로 SFT된 모델)
**데이터**: Ultrachat200k의 50k 샘플을 사용.
**알고리즘**:
`p_{\bm{\theta}_{t}}`가 응답을 생성하고, `p_{\bm{\theta}_{t+1}}`가 이를 인간 응답과 구분하도록 학습.
반복적으로 학습하며, 각 iteration에서 합성 데이터를 50k → 100k로 확장.
2 epoch당 1 iteration 수행.
**목표 함수**: `p_{\bm{\theta}_{t+1}}`가 `p_{\mathrm{data}}`에 수렴하도록 최적화.

주요 결과

**HuggingFace Open LLM Leaderboard**: 평균 점수 58.14 → 63.16 (10% 향상)
**GSM8k, TruthfulQA**: 각각 10% 이상의 점수 향상
**DPO 대비 성능**: GPT-4 데이터를 추가한 DPO 모델보다 우수한 성능
**데이터 효율성**: 50k 데이터만으로도 성능 향상 가능

의의 및 한계

SPIN은 추가 인공 데이터나 강력한 모델의 피드백 없이도 모델을 스스로 개선할 수 있는 새로운 방식을 제시한다. 이는 인간 라벨 데이터의 전이 효율성을 극대화하고, 데이터 수집 비용을 줄이는 데 기여할 수 있다. 또한, 이론적으로 수렴 조건을 증명함으로써 알고리즘의 타당성을 입증한다. 그러나, SPIN은 초기 SFT 모델에 의존하며, 이 모델의 품질이 최종 성능에 큰 영향을 미친다는 점에서 한계가 있다. 또한, 반복 학습이 필수적이기 때문에, 학습 시간이 다소 증가할 수 있다.

실용적 활용

SPIN은 인공 라벨 데이터가 부족하거나, 인간 피드백을 얻기 어려운 상황에서 모델 개선에 유용하게 활용될 수 있다. 특히, 대규모 언어 모델의 지속적 업데이트나, 저예산 환경에서의 모델 최적화에 적합하다. 연구적으로는 Self-Play 기반의 강화 학습과의 결합 가능성도 제시한다.