Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning

Reinforcement learning with verifiable rewards without human-annotated data, often referred to as zero RL, has emerged as a powerful paradigm for eliciting chain-of-thought reasoning. However, due to computational constraints, existing studies are largely restricted to small models, leaving the training dynamics and emergent capabilities at a large scale unexplored. To meaningfully explore this frontier, we aim to elicit high-quality reasoning behaviors from the model. However, we find that naive scaling often suffers from poor readability, token redundancy, and a lack of adaptive reasoning depth. To address these challenges, we present a stable and efficient training pipeline, incorporating algorithmic and system optimizations such as clipped importance sampling, training-inference ratio correction, and mixed-precision control. Our experiments offer three key findings that validate the "bitter lesson" of scaling: (1) scaling to 1T parameters significantly enhances sample efficiency and performance ceilings; (2) the training process progresses sequentially through an initial discovery phase followed by a sharpening phase; and (3) the model spontaneously develops advanced cognitive behaviors, including anthropomorphism, structured formatting, self-verification, parallel reasoning, and context anxiety, rendering hand-crafted heuristics redundant. Evaluated on seven mathematical benchmarks, Ring-2.5-1T-Zero achieves competitive performance. Additionally, to assess CoT quality beyond final-answer correctness, we propose a structured evaluation framework across three dimensions: comprehensibility, reproducibility, and efficiency, where our model demonstrates clear advantages in producing structured and concise reasoning traces. By sharing our observed emergent phenomena, we hope to provide the community with deeper insights into scaling behaviors, particularly at the 1-trillion scale.

한 줄 요약

1조 파라미터 규모의 Ring-2.5-1T-Zero 모델을 통해 Zero RL 기반 추론 능력이 자발적으로 발현되며, 기존 휴리스틱이 불필요해짐.

핵심 기여도

1조 파라미터 규모의 Zero RL 모델 Ring-2.5-1T-Zero를 제시, 기존 104B 모델 대비 샘플 효율성과 성능 상한선이 크게 향상됨.
클리pped importance sampling, training-inference ratio correction, mixed-precision control 등의 최적화 기법을 통해 안정적·효율적 학습 파이프라인 구축.
7개 수학 벤치마크에서 경쟁력 있는 성능 달성, CoT 품질 평가 프레임워크(Comprehensibility, Reproducibility, Efficiency) 제안.
자발적으로 anthropomorphism, structured formatting, self-verification, parallel reasoning, context anxiety 등의 고급 인지 전략이 등장함.

핵심 아이디어

Zero RL은 인간 라벨 없이도 추론 능력을 유도할 수 있지만, 기존 연구는 소규모 모델에 제한되어 있었다. 본 연구는 1조 파라미터 규모에서 Zero RL을 적용하여, 추론 능력의 자발적 발현과 학습 역학을 탐구했다. 기존 Zero RL의 단점인 읽기 어려움, 토큰 중복, 고정된 추론 깊이를 해결하기 위해, clipped importance sampling, training-inference ratio correction, mixed-precision control 등의 최적화 기법을 도입했다. 학습 단계는 "discovery phase"와 "sharpening phase"로 구분되며, 이는 모델이 추론 경계를 확장한 후 정제하는 과정을 반영한다. 학습 초기에는 토큰 수가 급증하는 문제가 있었으나, sample-level loss normalization과 tier-based adaptive training을 통해 이 문제를 해결했다.

기술적 접근법

**모델**: 1조 파라미터 규모의 Ring-2.5-1T-Zero 모델.
**알고리즘**: Clipped importance sampling, training-inference ratio correction, mixed-precision control, self-distillation, sample-level loss normalization, tier-based adaptive training.
**학습 단계**: 3단계의 RL 학습과 중간 self-distillation 단계로 구성된 다단계 학습 파이프라인.
**하드웨어 최적화**: Context parallelism, mixed-precision control 등을 통해 대규모 학습 안정성과 효율성 확보.
**CoT 평가**: Comprehensibility, Reproducibility, Efficiency 3차원 평가 프레임워크를 도입.

주요 결과

1조 파라미터 모델은 104B 모델 대비 샘플 효율성과 성능 상한선이 크게 향상됨.
7개 수학 벤치마크에서 경쟁력 있는 성능 달성.
CoT 품질 평가에서 Comprehensibility, Reproducibility, Efficiency 3차원 모두에서 우수한 성능 보임.
모델은 anthropomorphism, structured formatting, self-verification, parallel reasoning, context anxiety 등의 고급 인지 전략을 자발적으로 개발함.

의의 및 한계

**의의**: Zero RL의 확장 가능성을 입증하며, 1조 파라미터 규모에서 추론 능력이 자발적으로 발현됨을 보여줌. 기존 휴리스틱이 불필요함을 입증하며, AI 연구의 "bitter lesson"을 실증적으로 검증.
**한계**: 1조 파라미터 규모의 학습은 높은 계산 자원을 요구하며, CoT 품질 평가 프레임워크는 아직 초기 단계. 추론 과정의 인간 해석 가능성과 모델의 내재적 제약은 추가 연구 필요.

실용적 활용

대규모 언어 모델의 추론 능력 향상을 위한 Zero RL 기반 학습 파이프라인 설계에 활용 가능.
수학 문제 해결, 복잡한 추론 작업, 에이전트 시스템의 중간 단계 추론 생성 등에 적용 가능.
CoT 품질 평가 프레임워크는 추론 과정의 투명성과 효율성을 동시에 평가하는 데 유용함.