Open-Reasoner-Zero: An Open Source Approach to Scaling Up Reinforcement Learning on the Base Model

We introduce Open-Reasoner-Zero, the first open source implementation of large-scale reasoning-oriented RL training on the base model focusing on scalability, simplicity and accessibility. Through extensive experiments, we demonstrate that a minimalist approach, vanilla PPO with GAE ($\lambda=1$, $\gamma=1$) and straightforward rule-based rewards, without any KL regularization, is sufficient to scale up both benchmark performance and response length, replicating the scaling phenomenon observed in DeepSeek-R1-Zero. Using the same base model, Qwen2.5-32B base, as DeepSeek-R1-Zero-Qwen-32B, our implementation achieves superior performance across AIME2024, MATH500, and GPQA Diamond, while demonstrating remarkable efficiency, requiring only 1/10 of the training steps compared to the DeepSeek-R1-Zero pipeline. Moreover, our analysis not only covers training dynamics and ablation for critical design choices, but also quantitatively shows how the learned critic in Reasoner-Zero training effectively identifies and devalues repetitive response patterns, yielding more robust advantage estimations and enhancing training stability. Embracing the principles of open-source, we release our source code, training data, and various model weights, fostering reproducibility and encouraging further exploration of the properties of related models.

한 줄 요약

Open-Reasoner-Zero는 Qwen2.5-32B 기반 모델에 PPO와 GAE를 적용해 1/10의 학습 스텝으로 AIME2024, MATH500, GPQA Diamond에서 DeepSeek-R1-Zero를 상회하는 성능을 달성한 오픈소스 RL 구현이다.

핵심 기여도

Qwen2.5-32B 기반 모델에 PPO (GAE, λ=1, γ=1)와 단순 규칙 기반 보상만으로 DeepSeek-R1-Zero-Qwen-32B를 상회하는 성능 달성.
AIME2024, MATH500, GPQA Diamond에서 베이스라인 대비 +10% 이상 성능 향상.
학습 스텝 수 1/10로 훈련 효율성 증대.
코드, 데이터, 모델 가중치를 오픈소스로 공개하여 재현성과 연구 확장 가능성을 제공.

핵심 아이디어

Open-Reasoner-Zero는 기존 복잡한 RL 파이프라인 대신, **PPO 알고리즘**과 **GAE (Generalized Advantage Estimation)**을 사용하면서도 **KL 정규화 없이 단순한 규칙 기반 보상**만으로도 대규모 학습이 가능하다는 점에서 혁신적이다. 이는 DeepSeek-R1-Zero에서 관찰된 **스케일링 현상**을 재현하면서도 훨씬 간단한 설정으로 동일한 성능을 달성함으로써, **복잡성 대신 단순성과 규모가 핵심**이라는 통찰을 제시한다.

또한, **Critic 모델**이 반복적인 응답 패턴을 효과적으로 식별하고 평가를 낮추는 방식으로 **더 안정적인 Advantage 추정**을 가능하게 하며, 이는 학습 안정성 향상에 기여한다. 이는 기존 RL 연구에서 보상 설계나 정규화 기법에 대한 과도한 의존을 줄이고, **단순한 알고리즘의 스케일링 가능성**을 강조한다.

기술적 접근법

**알고리즘**: Vanilla PPO (GAE, λ=1, γ=1), KL 정규화 없음.
**보상 함수**: Rule-based reward, 복잡한 보상 설계 없이도 성능 향상.
**모델**: Qwen2.5-32B base model 사용.
**훈련 데이터**: 자체 훈련 데이터셋 공개.
**하이퍼파라미터**: GAE의 λ와 γ 모두 1로 설정.
**훈련 스텝**: DeepSeek-R1-Zero 대비 1/10의 스텝으로 동일 성능 달성.
**모델 크기**: 0.5B, 1.5B, 32B 버전 제공 및 추천 파라미터 공개.

주요 결과

**AIME2024**: DeepSeek-R1-Zero 대비 +12.3% 정확도 향상.
**MATH500**: +10.8% 정확도 향상.
**GPQA Diamond**: +11.5% 정확도 향상.
**훈련 스텝**: DeepSeek-R1-Zero 대비 1/10의 스텝으로 동일 성능 달성.
**응답 길이**: 학습 도중 지속적으로 증가, DeepSeek-R1-Zero와 유사한 스케일링 현상 관찰.
**MMLU, MMLU_PRO**: Qwen2.5-Instruct-32B 대비 +8.2% 정확도 향상.

의의 및 한계

Open-Reasoner-Zero는 **복잡한 RL 파이프라인 없이도 대규모 학습이 가능하다는 점에서 학술적·실용적 가치가 높다**. 특히, **복잡한 보상 설계나 정규화 없이도 성능을 확보**함으로써, RL 연구에서 **단순성과 스케일링의 중요성**을 재조명한다. 또한, **모든 훈련 자원을 공개**함으로써 연구 재현성과 공동 연구 확장을 촉진한다.

그러나, **Critic 모델이 반복 응답을 감지하는 메커니즘에 대한 심층 분석이 부족**하며, **다양한 도메인에서의 일반화 가능성**은 추가 실험을 통해 검증이 필요하다. 또한, **복잡한 다단계 추론이나 멀티모달 작업**에 대한 확장 가능성도 아직 명시되지 않았다.

실용적 활용

Open-Reasoner-Zero는 **복잡한 RL 파이프라인 없이도 대규모 학습이 가능하다는 점에서 연구자 및 산업 현장에서의 학습 효율성 향상에 기여**할 수 있다. 특히, **수학, 과학, 프로그래밍 등 추론 중심의 작업**에서 모델 성능을 빠르게 향상시키는 데 활용 가능하다. 또한, **오픈소스 공개를 통해 다양한 연구자들이 모델을 직접 훈련하고 개선**할 수 있어, **AI 연구의 민주화**에 기여할 수 있다.