Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning

Reinforcement Learning with Verifiable Rewards (RLVR) has emerged as a powerful approach to enhancing the reasoning capabilities of Large Language Models (LLMs), while its mechanisms are not yet well understood. In this work, we undertake a pioneering exploration of RLVR through the novel perspective of token entropy patterns, comprehensively analyzing how different tokens influence reasoning performance. By examining token entropy patterns in Chain-of-Thought (CoT) reasoning, we observe that only a small fraction of tokens exhibit high entropy, and these tokens act as critical forks that steer the model toward diverse reasoning pathways. Furthermore, studying how entropy patterns evolve during RLVR training reveals that RLVR largely adheres to the base model's entropy patterns, primarily adjusting the entropy of high-entropy tokens. These findings highlight the significance of high-entropy tokens (i.e., forking tokens) to RLVR. We ultimately improve RLVR by restricting policy gradient updates to forking tokens and uncover a finding even beyond the 80/20 rule: utilizing only 20% of the tokens while maintaining performance comparable to full-gradient updates on the Qwen3-8B base model and significantly surpassing full-gradient updates on the Qwen3-32B (+11.04 on AIME'25 and +7.71 on AIME'24) and Qwen3-14B (+4.79 on AIME'25 and +5.21 on AIME'24) base models, highlighting a strong scaling trend. In contrast, training exclusively on the 80% lowest-entropy tokens leads to a marked decline in performance. These findings indicate that the efficacy of RLVR primarily arises from optimizing the high-entropy tokens that decide reasoning directions. Collectively, our results highlight the potential to understand RLVR through a token-entropy perspective and optimize RLVR by leveraging high-entropy minority tokens to further improve LLM reasoning.

한 줄 요약

고량이 높은 소수의 토큰(포킹 토큰)을 선택적으로 최적화함으로써 Qwen3-32B 기반 모델에서 AIME'25에서 +11.04, AIME'24에서 +7.71의 성능 향상이 관찰되었다.

핵심 기여도

고량 토큰(포킹 토큰)이 LLM 추론 경로의 결정적 분기점임을 규명.
Qwen3-32B 기반 모델에서 포킹 토큰만을 사용한 RLVR가 전체 토큰 기반 훈련보다 AIME'25에서 +11.04, AIME'24에서 +7.71의 성능 향상을 기록.
전체 토큰의 20%만을 선택하여 훈련해도 성능 저하 없이 훈련 가능하며, 이는 80/20 규칙을 초월하는 결과.
RLVR 훈련 중 고량 토큰의 엔트로피만 조정됨을 밝혀, 기존 훈련 방식과의 차별화를 제시.

핵심 아이디어

LLM의 추론 과정에서 고량 토큰은 여러 경로 중 하나를 선택하는 결정적 분기점(fork) 역할을 한다는 점을 발견하였다. 본 연구는 Chain-of-Thought(CoT) 추론 과정에서 토큰 엔트로피 패턴을 분석함으로써, 추론 성능에 가장 큰 영향을 미치는 토큰이 전체의 소수임을 규명하였다. 이 토큰들은 일반적으로 낮은 엔트로피를 가진 토큰들과는 달리, 여러 가능한 추론 경로 중 하나를 선택하는 '포킹 토큰'으로 작용한다.

이를 바탕으로, 연구팀은 Policy Gradient 업데이트를 포킹 토큰에만 제한함으로써 RLVR의 효율성을 높이는 전략을 제안하였다. 이는 전체 토큰의 20%만을 선택해 훈련하더라도 성능 저하 없이, 오히려 기존 훈련 방식보다 더 높은 성능을 달성할 수 있음을 보여준다. 이는 기존의 80/20 규칙을 넘어서는 새로운 통찰을 제시한다.

기술적 접근법

**토큰 엔트로피 분석**: CoT 추론 과정에서 토큰의 엔트로피 분포를 분석하여, 고량 토큰이 추론 경로의 분기점임을 확인.
**Policy Gradient 제한**: 전체 토큰 중 상위 20%의 고량 토큰만을 선택적으로 Policy Gradient 업데이트에 포함.
**AIME 데이터셋 활용**: AIME'24, AIME'25 데이터셋을 사용하여 성능 평가.
**모델 크기별 성능 비교**: Qwen3-8B, Qwen3-14B, Qwen3-32B 모델에서 성능 차이를 분석.
**Clip-Higher 알고리즘**: 고량 토큰의 엔트로피를 선택적으로 증가시키는 방법으로, 전체 토큰 엔트로피 증가를 방지.

주요 결과

Qwen3-32B 기반 모델에서 포킹 토큰만을 사용한 RLVR는 AIME'25에서 +11.04, AIME'24에서 +7.71의 성능 향상.
Qwen3-14B 기반 모델에서는 AIME'25에서 +4.79, AIME'24에서 +5.21의 개선.
전체 토큰의 80%만을 사용한 훈련은 성능이 급격히 저하됨.
32B 모델에서 20% 고량 토큰만을 사용해 AIME'24에서 63.5, AIME'25에서 56.7의 점수를 달성하며, 기존 최고 성능(SoTA)을 기록.
최대 응답 길이를 20k에서 29k로 확장하면 AIME'24 점수가 63.5에서 68.1로 상승.

의의 및 한계

본 연구는 RLVR의 핵심 메커니즘을 토큰 엔트로피 관점에서 분석함으로써, 추론 성능 향상을 위한 새로운 접근법을 제시하였다. 특히, 고량 소수 토큰을 선택적으로 최적화함으로써 훈련 효율성을 높이고, 기존 80/20 규칙을 넘어서는 성능 향상을 달성하였다. 이는 LLM 추론 과정에서 토큰의 기능적 역할이 이질적임을 입증하며, 추론 모델 최적화 전략에 중요한 시사점을 제공한다.

그러나, 8B 모델에서는 20% 토큰만을 사용해도 성능 향상이 제한적이었으며, 이는 모델 크기와 성능 향상 간의 강한 스케일링 트렌드를 시사한다. 또한, 다른 모델(예: Llama-3.1-8B)에서는 RLVR 성능이 낮아, 모델 종류에 따른 일반화 가능성에 한계가 있을 수 있다.

실용적 활용

이 연구는 LLM 추론 모델의 훈련 효율성을 높이는 데 활용될 수 있다. 특히, 대규모 모델에서 고량 토큰만을 선택적으로 최적화함으로써 훈련 비용을 절감하면서도 성능을 유지하거나 향상시킬 수 있다. 이는 산업 현장에서 LLM을 활용한 추론 기반 서비스(예: 수