Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?

Reinforcement Learning with Verifiable Rewards (RLVR) has recently demonstrated notable success in enhancing the reasoning performance of large language models (LLMs), particularly on mathematics and programming tasks. Similar to how traditional RL helps agents explore and learn new strategies, RLVR is believed to enable LLMs to continuously self-improve, thus acquiring novel reasoning abilities beyond those of the corresponding base models. In this study we critically examine the current state of RLVR by systematically probing the reasoning capability boundaries of RLVR-trained LLMs across various model families, RL algorithms, and math, coding, and visual reasoning benchmarks, using pass@k at large k values as the evaluation metric. Surprisingly, we find that the current training setup does not elicit fundamentally new reasoning patterns. While RLVR-trained models outperform their base models at small k (e.g., k = 1), the base models achieve a higher pass@k score when k is large. Coverage and perplexity analyses show that the observed reasoning abilities originate from and are bounded by the base model. Treating the base model as an upper bound, our quantitative analysis shows that six popular RLVR algorithms perform similarly and remain far from optimal in leveraging the potential of the base model. By contrast, we find that distillation can introduce new reasoning patterns from the teacher and genuinely expand the model's reasoning capabilities. Overall, our findings suggest that current RLVR methods have not yet realized the potential of RL to elicit truly novel reasoning abilities in LLMs. This highlights the need for improved RL paradigms, such as continual scaling and multi-turn agent-environment interaction, to unlock this potential.

한 줄 요약

현재 RLVR은 기존 LLM의 추론 능력을 확장하지 못하며, 기반 모델의 범위 내에서만 작동한다.

핵심 기여도

RLVR 학습 모델은 기반 모델보다 `pass@k`에서 `k`가 클 때 낮은 성능을 보임 (예: `k = 256`에서 기반 모델이 우수).
RLVR는 기반 모델의 추론 경로를 재조합할 뿐, 새로운 추론 패턴을 생성하지 않음.
6가지 RLVR 알고리즘(PPO, GRPO, Reinforce++)는 모두 유사한 성능을 보이며, 최적화 여지가 큼.
디스틸레이션은 RLVR와 달리 새로운 추론 능력을 전달할 수 있음.

핵심 아이디어

RLVR은 LLM이 수학 및 프로그래밍 문제를 해결하는 능력을 향상시키기 위해 자동 생성된 보상 기반 강화 학습을 적용한 방법이다. 기존 RL에서 에이전트가 새로운 전략을 발견하는 방식을 모방하여, LLM이 기반 모델의 범위를 넘어 새로운 추론 능력을 얻을 수 있다고 기대되었다. 하지만 본 연구는 RLVR가 실제로 새로운 추론 패턴을 생성하지 못하고, 기반 모델의 기존 추론 경로를 재사용하거나 효율적으로 샘플링하는 데 그친다는 점을 밝혔다. 이는 RLVR이 기존 추론 능력을 재조합하는 데는 효과적이지만, 새로운 추론 능력을 유도하는 데는 한계가 있음을 시사한다.

기술적 접근법

**모델**: 다양한 LLM 가족(예: OpenAI-o1, DeepSeek-R1, Kimi-1.5)을 사용.
**알고리즘**: PPO, GRPO, Reinforce++ 등 6가지 RLVR 알고리즘 비교.
**평가 지표**: `pass@k` (k = 1, 256 등)를 사용하여 문제 해결 가능성을 평가.
**분석 방법**: Coverage 분석, Perplexity 분석, Sampling Efficiency Gap (ΔSE) 계산.
**데이터셋**: 수학, 코드, 시각 추론 벤치마크 사용.

주요 결과

**수학 및 코드 문제에서 `pass@k` 성능**: 기반 모델은 `k = 256`에서 RLVR 모델보다 높은 `pass@k` 점수를 기록함.
**추론 경로 분석**: RLVR 모델이 생성한 추론 경로는 기반 모델의 출력 분포 내에 이미 존재함.
**Sampling Efficiency Gap (ΔSE)**: RLVR 알고리즘 간 차이는 작지만, 기반 모델의 `pass@256` 대비 `pass@1` 점수와의 격차는 여전히 큼.
**디스틸레이션 vs RLVR**: 디스틸레이션은 새로운 추론 패턴을 전달하지만, RLVR는 기반 모델의 범위 내에서만 작동함.

의의 및 한계

본 연구는 RLVR가 기존 LLM의 추론 능력을 확장하지 못하고, 기반 모델의 범위 내에서만 작동한다는 점을 명확히 밝혔다. 이는 RLVR가 기대했던 자율적 추론 능력 확장을 달성하지 못하고 있음을 시사하며, 새로운 RL 패러다임(예: 지속적 스케일링, 다단계 에이전트-환경 상호작용)이 필요함을 강조한다. 한편, RLVR는 기존 추론 경로를 효율적으로 샘플링하는 데는 효과적이며, 이는 특정 문제에서의 성능 향상에 유용할 수 있다.

실용적 활용

RLVR는 기존 LLM의 추론 능력을 최대한 활용하는 데 유용하며, 특히 샘플링 효율성이 중요한 문제 해결 상황에서 활용 가능하다. 그러나 새로운 추론 능력을 필요로 하는 연구 및 산업 분야에서는 디스틸레이션과 같은 대체 방법이 더 적합할 수 있다.