The Thinking Leakage in Reinforcement Learning for LLMs

Hybrid reasoning models such as the Qwen3 series switch between a THINK mode and a NO-THINK mode through a few chat-template tokens. A popular recipe trains such models with reinforcement learning in NO-THINK mode and reports improved reasoning performance. We provide evidence that much of this gain can be explained by thinking leakage: the gain comes largely from partially reactivating the reasoning abilities of the original model's THINK mode instead of learning enhanced reasoning behavior. We train Qwen3-1.7B, 4B, and 8B with GRPO in NO-THINK mode. As accuracy improves, responses become longer and more reflective, are increasingly judged by the original model to resemble its own thinking, and the model's internal activations shift toward its THINK mode. We then investigate at the level of weights, activations, and attention heads: scaling the RL update further elicits THINK-mode behavior and approaches THINK-mode accuracy but does not exceed it; in Qwen3-8B, replacing a low-dimensional THINK-related activation subspace of the RL-trained model with its original-model value removes most of the RL gain, and the reverse exchange transfers a considerable fraction of the gain to the original model; and the RL-induced shift passes through the attention heads that read the empty think block. We further identify a possible mechanism in the GRPO training signal: responses favored by the advantage-weighted update are more THINK-like, and a gradient step computed from this signal moves the model toward its THINK state. Thus, gains in NO-THINK mode can largely reflect reactivation of reasoning abilities already present in the original model.

한 줄 요약

Qwen3 계열 모델에서 강화학습(RL)을 통해 NO-THINK 모드 성능이 향상되지만, 이는 THINK 모드의 추론 능력이 부분적으로 재활성화된 결과로 설명된다.

핵심 기여도

Qwen3-1.7B, 4B, 8B 모델을 GRPO를 사용해 NO-THINK 모드에서 훈련한 결과, 정확도가 향상되며 THINK 모드와 유사한 활성화 패턴이 나타남.
Qwen3-8B에서 RL 훈련 모델의 저차원 THINK 관련 활성화 부분을 원본 모델 값으로 대체하면 75%의 RL 성능 향상이 사라짐.
GRPO 훈련 신호가 더 THINK-유사한 응답을 강화하며, 가중치가 THINK 상태로 이동함.
NO-THINK 모드에서의 성능 향상이 새로운 추론 능력이 아닌 기존 THINK 모드의 재활성화(Thinking Leakage)에서 비롯됨을 입증.

핵심 아이디어

기존 연구는 NO-THINK 모드에서 강화학습(RL)을 통해 추론 성능을 향상시킬 수 있다고 주장했지만, 본 연구는 이 향상이 새로운 추론 능력이 아니라 기존 THINK 모드의 추론 능력이 부분적으로 재활성화된 결과임을 밝혔다. Qwen3 계열 모델은 동일한 가중치를 사용하면서 THINK와 NO-THINK 모드를 토큰 기반으로 전환하며, RL 훈련이 NO-THINK 모드에서 이루어져도 모델 내부 활성화가 THINK 모드로 이동하는 경향이 관찰되었다. 이는 RL이 모드 간 경계를 조정함으로써 기존 추론 능력을 다른 모드에서도 활용하게 만든다는 점에서 중요한 통찰이다.

기술적 접근법

**모델**: Qwen3-1.7B, 4B, 8B
**알고리즘**: Group Relative Policy Optimization (GRPO)
**데이터셋**: DAPO-Math-17k
**훈련 모드**: NO-THINK 모드
**관측 지표**: 응답 길이, 반성적 표현("wait" 등), 모델 내부 활성화 패턴, 가중치 변화
**실험**:
가중치 스케일링을 통해 RL 업데이트가 THINK 모드 행동을 증폭시킴을 확인.
Qwen3-8B에서 저차원 THINK 관련 활성화 부분을 교체해 75%의 성능 향상이 사라짐을 실험적으로 입증.
주의 헤드 분석을 통해 RL 유도 활성화가 빈 THINK 블록을 읽는 헤드를 통해 전달됨을 확인.

주요 결과

Qwen3-8B에서 RL 훈련 후 모델의 내부 활성화가 원본 NO-THINK와 THINK 모드 간 차이의 0.56배에 해당하는 방향으로 이동.
Qwen3-8B에서 RL 훈련 모델의 저차원 THINK 관련 활성화 부분을 원본 모델 값으로 대체하면 75%의 성능 향상이 사라짐.
Qwen3-8B에서 원본 모델은 RL 훈련 후의 응답을 94%의 확률로 자신이 생성한 NO-THINK 응답보다 더 THINK-유사하다고 판단.
GRPO 훈련 신호가 더 THINK-유사한 응답을 강화하며, 가중치가 THINK 상태로 이동함.

의의 및 한계

본 연구는 강화학습이 NO-THINK 모드에서의 성능 향상을 주도하지만, 이는 새로운 추론 능력이 아니라 기존 THINK 모드의 추론 능력이 다른 모드에서도 활용되는 결과임을 밝혀내는 데 기여한다. 이는 학술적으로는 모델 모드 간 경계의 유연성을, 실용적으로는 추론 모델 평가 시 새로운 능력과 기존 능력 접근 방식의 구분이 필요함을 시사한다. 한계로는 다른 모델 아키텍처나 데이터셋에서의 일반화 가능성, 그리고 RL이 모드 간 경계를 어떻게 정확히 조정하는지에 대한 더 깊은 메커니즘 분석이 필요하다는 점이 제기된다.

실용적 활용

이 연구는 강화학습을 활용한 추론 모델 개선 시, 성능 향상이 새로운 추론 능력이 아닌 기존 모드의 재활성화에서 비롯될 수 있음을 경고하며, 추론 모델 평가 시 모드 간 경계 조정을 고려해야 함을 제안한다. 이는 대규모 언어 모델의 추론 성능 평가 및 모델 최적화 전략 수립에 중요한 참고 자료가 될 수 있다.