Reinforcement learning (RL) has become central to improving large language models (LLMs) on complex reasoning tasks, yet RL post-training is largely studied in isolation from the pretraining that precedes it. As a result, two basic questions remain open: (1) how do pretraining choices (model size, data) shape the returns to RL compute, and (2) what does RL actually do to the model? These questions are difficult to study in the standard LLM setting: pretraining corpora are vast and uncontrolled, making it hard to attribute behaviors to pretraining versus RL, and systematic compute sweeps across both stages are prohibitively expensive. To address these challenges, we use chess as a controlled testbed for studying reasoning across the full pretraining-to-post-training pipeline. We follow the standard LLM training pipeline by pretraining language models from 5M to 1B parameters on human chess games, supervised fine-tuning on synthetic reasoning traces, and running RL on chess puzzles with verifiable rewards. Using this framework, we find that the post-RL performance at given RL compute level is well-predicted from the pretraining loss, and slope of the RL reward curves improves approximately linearly with the pretraining tokens. Beyond scaling, we find that RL does not simply sharpen the SFT policy: on easy puzzles it amplifies correct moves the SFT policy already preferred, while on hard puzzles it surfaces correct moves that were nearly absent under SFT. We further test whether our findings transfer beyond chess by training a 1B language model on math-domain text, where the same predictive pattern emerges: longer-pretrained checkpoints reach higher post-RL performance and improve faster under RL. In sum, we provide a quantitative account of the pretraining-to-RL interface and a controlled testbed for studying the science of reasoning across the full pretraining-to-post-training pipeline.
한 줄 요약
체스를 사용한 제어된 실험 환경에서 사전학습과 강화학습의 상호작용을 정량적으로 분석하여, 사전학습 데이터량과 모델 규모가 강화학습 성능에 미치는 영향을 규명했다.
핵심 기여도
- 사전학습 손실(loss)이 강화학습 후 성능(pass@1)을 예측 가능하게 한다는 규명.
- 사전학습 토큰 수가 강화학습 성능 향상 속도(곡선의 기울기)에 선형적으로 영향을 미친다는 규명.
- 강화학습이 기존 정책(SFT policy)을 단순히 날카롭게만 만들지 않고, 어려운 문제에서는 새로운 정답을 표면화시킨다는 발견.
- 체스 외에도 수학 도메인에서 동일한 패턴이 나타남을 확인.
핵심 아이디어
기존 연구에서는 사전학습과 강화학습을 독립적으로 연구하는 경향이 있었으나, 이 연구는 두 단계가 어떻게 상호작용하는지를 체스라는 제어된 환경에서 분석했다. 체스는 행동 공간이 명확하고, 각 수의 품질을 엔진으로 정확히 평가할 수 있어, 사전학습과 강화학습의 영향을 분리해 분석하기에 적합하다. 연구팀은 5M에서 1B 파라미터 규모의 모델을 인간 체스 게임 데이터로 사전학습한 후, 합성 추론 추적(synthetic reasoning traces)으로 지도 학습(SFT)을 수행하고, 체스 퍼즐에서 강화학습을 진행했다. 이를 통해 사전학습 데이터량과 모델 규모가 강화학습 성능에 미치는 영향을 정량적으로 규명했다.
기술적 접근법
- **모델**: 5M ~ 1B 파라미터 규모의 언어 모델.
- **데이터**: 인간 체스 게임 기록, 합성 추론 추적, 체스 퍼즐.
- **학습 단계**:
1. **사전학습(Pretraining)**: 토큰화된 인간 체스 게임 데이터로 언어 모델 학습.
2. **지도 학습(SFT)**: 합성 추론 추적 데이터로 정책 정제.
3. **강화학습(RL)**: 체스 퍼즐에서 정량적 보상(reward)을 기반으로 정책 최적화.
- **평가 지표**: pass@1 (정답률), pass@k (상위 k개 예측 중 정답 포함 여부).
- **실험 수치**: 36개의 사전학습-강화학습 조합 실험, 10B~200B 토큰의 수학 도메인 텍스트로 사전학습한 1B 모델 실험.
주요 결과
- **사전학습 손실**이 강화학습 후 성능(pass@1)을 잘 예측함.
- **사전학습 토큰 수**가 증가함에 따라 강화학습 성능 향상 속도(곡선 기울기)가 선형적으로 증가함.
- **쉬운 퍼즐**에서는 강화학습이 SFT 정책에서 이미 선호되는 정답을 증폭.
- **어려운 퍼즐**에서는 SFT 정책에서 거의 나타나지 않던 정답을 표면화시키지만, 동시에 잘못된 정답도 강화.
- **수학 도메인**에서도 동일한 패턴 나타남: 사전학습 시간이 길수록 강화학습 성능 향상이 빠르고 높음.
의의 및 한계
이 연구는 사전학습과 강화학습의 상호작용을 체계적으로 분석한 최초의 연구로, 두 단계 간의 최적 계산 배분을 위한 정량적 기반을 제공한다. 특히, 강화학습이 단순히 기존 정책을 날카롭게만 만들지 않고, 어려운 문제에서는 새로운 정답을 발견할 수 있음을 보여주어, 강화학습의 역할에 대한 새로운 통찰을 제시한다. 그러나 실험은 체스와 수학 도메인에 제한되었으며, 자연어 추론 등 다른 도메인으로의 일반화 가능성은 추가 연구가 필요하다. 또한, 강화학습이 잘못된 정답을 강화하는 경향이 있어, 이에 대한 제어 방법 연구가 필요하다.
실용적 활용
이 연구는 대규모 언어 모델의 학습 전략 설계에 실용적 가치를 제공한다. 예를 들어, 사전학습 토큰 수와 모델 규모를 늘리는 데 투자할지, 또는 강화학습에 더 많은 계산 자원을 할당할지 결정하는 데 도움을 줄 수 있다. 또한, 체스와 수학 도메인에서의 실험 환경은 다른 추론 도메인에서도 유사한 연구를 수행하는 데 활용될 수 있다.