Reinforcement Learning for Reasoning in Large Language Models with One Training Example

We show that reinforcement learning with verifiable reward using one training example (1-shot RLVR) is effective in incentivizing the math reasoning capabilities of large language models (LLMs). Applying RLVR to the base model Qwen2.5-Math-1.5B, we identify a single example that elevates model performance on MATH500 from 36.0% to 73.6% (8.6% improvement beyond format correction), and improves the average performance across six common mathematical reasoning benchmarks from 17.6% to 35.7% (7.0% non-format gain). This result matches the performance obtained using the 1.2k DeepScaleR subset (MATH500: 73.6%, average: 35.9%), which contains the aforementioned example. Furthermore, RLVR with only two examples even slightly exceeds these results (MATH500: 74.8%, average: 36.6%). Similar substantial improvements are observed across various models (Qwen2.5-Math-7B, Llama3.2-3B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B), RL algorithms (GRPO and PPO), and different math examples. In addition, we identify some interesting phenomena during 1-shot RLVR, including cross-category generalization, increased frequency of self-reflection, and sustained test performance improvement even after the training accuracy has saturated, a phenomenon we term post-saturation generalization. Moreover, we verify that the effectiveness of 1-shot RLVR primarily arises from the policy gradient loss, distinguishing it from the"grokking"phenomenon. We also show the critical role of promoting exploration (e.g., by incorporating entropy loss with an appropriate coefficient) in 1-shot RLVR training. We also further discuss related observations about format correction, label robustness and prompt modification. These findings can inspire future work on RLVR efficiency and encourage a re-examination of recent progress and the underlying mechanisms in RLVR. All resources are open source at https://github.com/ypwang61/One-Shot-RLVR.

한 줄 요약

1-shot RLVR을 통해 단 1개의 예시로 LLM의 수학적 추론 성능을 36.0%에서 73.6%까지 향상시킬 수 있음을 보인다.

핵심 기여도

Qwen2.5-Math-1.5B 모델에서 MATH500 정확도를 36.0% → 73.6% (8.6% 개선)로 향상.
1.2k DeepScaleR 데이터셋과 유사한 성능 달성 (MATH500: 73.6%, 평균: 35.9%).
단 2개의 예시만으로도 MATH500 정확도 74.8% 달성.
정책 기울기 손실(policy gradient loss)이 1-shot RLVR의 주요 기여 요소임을 밝힘.

핵심 아이디어

기존 RLVR은 수천 개의 예시를 필요로 하지만, 본 연구는 단 1개의 예시만으로도 LLM의 수학적 추론 능력을 크게 향상시킬 수 있음을 보인다. 핵심 아이디어는 정책 기울기 손실이 학습된 예시의 정확성을 보장하면서도 모델의 다양성을 촉진함으로써, 과적합 이후에도 테스트 성능이 지속적으로 향상되는 'post-saturation generalization' 현상을 유도한다는 점이다. 이는 'grokking'과 구별되며, 정책 기울기 손실이 주요 역할을 한다는 것을 실험적으로 입증했다.

기술적 접근법

**모델**: Qwen2.5-Math-1.5B, Qwen2.5-Math-7B, Llama3.2-3B-Instruct, DeepSeek-R1-Distill-Qwen-1.5B.
**알고리즘**: GRPO, PPO.
**데이터**: DeepScaleR 데이터셋에서 단 1개의 예시만 사용 (1-shot RLVR).
**손실 함수**: 정책 기울기 손실(policy gradient loss), 엔트로피 손실(entropy loss, 적절한 계수 포함).
**하이퍼파라미터**: 엔트로피 손실 계수가 너무 크면 학습 불안정, 적절한 계수는 성능 향상에 기여.

주요 결과

Qwen2.5-Math-1.5B 모델에서 MATH500 정확도 36.0% → 73.6% (8.6% 개선).
6개 수학 추론 벤치마크 평균 정확도 17.6% → 35.7% (7.0% 개선).
DeepScaleR(1.2k)과 동일한 성능 (MATH500: 73.6%, 평균: 35.9%).
단 2개 예시로 MATH500 정확도 74.8% 달성.
엔트로피 손실만으로도 Qwen2.5-Math-1.5B의 MATH500 성능 27.4% 향상.

의의 및 한계

본 연구는 RLVR의 데이터 효율성을 극한까지 탐구한 것으로, LLM이 기존에 내재된 추론 능력을 적절한 학습 신호로 활성화할 수 있음을 시사한다. 특히, 정책 기울기 손실이 학습의 주요 동력이며, 엔트로피 손실이 다양성을 촉진함으로써 과적합 이후에도 성능이 향상되는 'post-saturation generalization' 현상을 관찰했다는 점에서 학술적 의의가 크다. 그러나 본 연구는 특정 수학 예시에만 국한되었으며, 일반적인 추론 능력 향상 여부는 추가 실험 필요.

실용적 활용

1-shot RLVR는 학습 데이터가 제한된 상황에서 LLM의 추론 능력을 향상시키는 데 유용할 수 있다. 특히, 수학 교육, AI 기반 문제 풀이 도구, 자동화된 수학 문제 생성 시스템 등에서 활용 가능하다. 또한, 데이터 수집 및 정제 비용을 줄이는 데 기여할 수 있다.