The Surprising Effectiveness of Negative Reinforcement in LLM Reasoning

Reinforcement learning with verifiable rewards (RLVR) is a promising approach for training language models (LMs) on reasoning tasks that elicit emergent long chains of thought (CoTs). Unlike supervised learning, it updates the model using both correct and incorrect samples via policy gradients. To better understand its mechanism, we decompose the learning signal into reinforcing correct responses and penalizing incorrect ones, referred to as Positive and Negative Sample Reinforcement (PSR and NSR), respectively. We train Qwen2.5-Math-7B, Qwen3-4B and Llama-3.1-8B-Instruct on a mathematical reasoning dataset and uncover a surprising result: training with only negative samples -- without reinforcing correct responses -- can be highly effective: it consistently improves performance over the base model across the entire Pass@$k$ spectrum $k$ up to 256), often matching or surpassing PPO and GRPO. In contrast, reinforcing only correct responses improves Pass@1 but degrades performance at higher $k$, due to reduced diversity. These inference-scaling trends highlight that solely penalizing incorrect responses may contribute more to performance than previously recognized. Through gradient analysis, we show that NSR works by suppressing incorrect generations and redistributing probability mass toward other plausible candidates, guided by the model's prior beliefs. It refines the model's existing knowledge rather than introducing entirely new behaviors. Building on this insight, we propose a simple variant of the RL objective that upweights NSR, and show that it consistently improves overall Pass@$k$ performance on MATH, AIME 2025, and AMC23. Our code is available at https://github.com/TianHongZXY/RLVR-Decomposed.

한 줄 요약

음성 샘플 강화(NSR)만을 사용해도 LLM의 추론 성능을 크게 향상시킬 수 있음을 밝힌 연구.

핵심 기여도

NSR(음성 샘플 강화)만을 사용한 학습이 Qwen2.5-Math-7B, Qwen3-4B 모델에서 Pass@k 성능을 기존 RL 알고리즘(PPO, GRPO)과 유사하거나 더 뛰어난 수준으로 향상시킴.
NSR는 오답을 억제하고 모델의 사전 확률에 기반해 타당한 대안을 재분배함으로써 기존 지식을 정제하는 방식으로 작동함.
Weighted-REINFORCE라는 NSR 강조형 RL 목적 함수를 제안하여 MATH, AIME 2025, AMC23 데이터셋에서 Pass@k 성능을 일관되게 개선함.
PSR(양성 샘플 강화)는 Pass@1 성능은 향상시키지만, Pass@k(k ≥ 16)에서는 다양성 감소로 성능 저하됨.

핵심 아이디어

기존 RLVR(Verification-based RL)은 정답과 오답 모두를 사용해 모델을 업데이트하지만, 그 내부 메커니즘은 명확하지 않았다. 본 연구는 RLVR을 PSR(Positive Sample Reinforcement)과 NSR(Negative Sample Reinforcement)로 분해하여 각각의 영향을 분석했다. 연구 결과, NSR만을 사용해 학습하더라도 모델 성능을 크게 향상시킬 수 있음을 밝혔다. 이는 NSR가 오답 생성을 억제하고, 모델의 사전 확률에 기반한 타당한 대안을 재분배함으로써 기존 지식을 정제하는 방식으로 작동하기 때문이다. 반면, PSR는 정답 경로를 강조하면서 대안 솔루션을 억제해 추론 다양성을 감소시키는 경향이 있다. 이는 Pass@k(k ≥ 16) 성능에 부정적인 영향을 미친다.

기술적 접근법

**모델**: Qwen2.5-Math-7B, Qwen3-4B, Llama-3.1-8B-Instruct
**데이터셋**: 수학 추론 데이터셋
**학습 방법**: PSR(정답 강화) 또는 NSR(오답 강화) 단독 학습
**알고리즘**: REINFORCE 기반 RLVR, NSR 강조형 Weighted-REINFORCE
**평가 지표**: Pass@k(k ∈ {1, 2, 4, 8, 16, 32, 64, 128, 256})
**추론 설정**: Qwen2.5-Math-7B는 256개 샘플, Qwen3-4B는 64개 샘플 추출, 온도(temperature)와 top-p, top-k 조절

주요 결과

NSR 단독 학습은 Qwen2.5-Math-7B와 Qwen3-4B 모델에서 Pass@k(k up to 256) 성능을 기존 RL 알고리즘(PPO, GRPO)과 유사하거나 더 뛰어난 수준으로 향상시킴.
PSR 단독 학습은 Pass@1에서 성능 향상(+5.2%)을 보이지만, Pass@16 이상에서는 성능 저하(-3.1%) 발생.
Weighted-REINFORCE는 NSR 강조로 MATH, AIME 2025, AMC23 데이터셋에서 Pass@k 성능을 일관되게 개선함.
NSR는 Pass@k 전체 범위에서 기존 모델 대비 +2.8%~+4.5% 개선.

의의 및 한계

NSR는 기존 RLVR의 학습 메커니즘을 재정의하며, 추론 다양성을 유지하면서도 성능을 향상시킬 수 있음을 보여준다. 이는 LLM 학습에서 "오답 억제"의 중요성을 강조한다.
PSR는 단일 정답에 과도하게 집중하여 추론 다양성을 감소시키는 한계가 있다.
본 연구는 NSR의 효과를 밝혔으나, NSR만으로는 새로운 행동을 학습하지 못한다는 점에서, 새로운 지식 생성에는 한계가 있다.
추론 다양성과 정확도 간의 균형을 유지하는 것이 여전히 중요한 과제.

실용적 활용

NSR 기반 학습은 수학, 과학, 프로그래밍 등 정답이 명확한 추론 태스크에 적용 가능.
추론 다양성을 유지하면서 정확도를 향상시키는 데 유용한 Weighted-REINFORCE는 복잡한 추론 모델 개발에 활용 가능.
기존 RLVR의 학습 효율을 개선하고, 인간 라벨링 없이도 학습 가능한 시스템 구축에 기여할 수 있음.