Reasoning with Exploration: An Entropy Perspective

Balancing exploration and exploitation is a central goal in reinforcement learning (RL). Despite recent advances in enhancing language model (LM) reasoning, most methods lean toward exploitation, and increasingly encounter performance plateaus. In this work, we revisit entropy -- a signal of exploration in RL -- and examine its relationship to exploratory reasoning in LMs. Through empirical analysis, we uncover positive correlations between high-entropy regions and three types of exploratory reasoning actions: (1) pivotal tokens that determine or connect logical steps, (2) reflective actions such as self-verification and correction, and (3) rare behaviors under-explored by the base LMs. Motivated by this, we introduce a minimal modification to standard RL with only one line of code: augmenting the advantage function with an entropy-based term. Unlike traditional maximum-entropy methods which encourage exploration by promoting uncertainty, we encourage exploration by promoting deeper and longer reasoning chains. Notably, our method achieves significant gains on the Pass@K metric -- an upper-bound estimator of LM reasoning capabilities -- even when evaluated with extremely large K values, pushing the boundaries of LM reasoning.

한 줄 요약

기반 탐색 강화로 언어 모델의 추론 능력을 극대화하는 새로운 RL 방법 제안.

핵심 기여도

**고 영역과 핵심 추론 행동**(pivotal tokens, self-verification, rare behaviors) 간 강한 상관관계 발견.
**기존 RL 알고리즘**(PPO, GRPO)에 단 한 줄의 코드 추가로 **advantage function에 entropy term 삽입**.
**Pass@K 메트릭**(K=256)에서 기존 RL 기반 모델 대비 **상당한 성능 향상**.
**기존 RLVR 훈련 파이프라인에 즉시 통합 가능한 최소한의 수정**.

핵심 아이디어

기존의 언어 모델 강화 학습(RLVR)은 정확도 기반 보상 신호에 의존하여 **exploitation에 치우쳐**, 복잡한 다단계 추론 능력이 감소하는 경향이 있다. 본 연구는 ****(entropy)를 탐색의 신호로 활용하여, **더 깊고 긴 추론 체인**(longer and deeper reasoning chains)을 유도하는 새로운 접근법을 제안한다.

기존의 최대 방법(maximum-entropy methods)은 **불확실성을 장려**하여 탐색을 유도하지만, 본 연구는 **고 영역이 나타내는 핵심 추론 행동**(예: pivotal tokens, self-verification)을 직접적으로 장려함으로써, **탐색과 추론의 질을 동시에 향상**시킨다. 이는 **기존 정책의 최적화 방향을 유지하면서도**, 탐색을 촉진하는 새로운 신호를 추가하는 방식으로, **기존 RL 알고리즘**(PPO, GRPO)에 단 한 줄의 코드로 통합 가능하다는 점에서 혁신적이다.

기술적 접근법

**기존 RL 알고리즘**(PPO, GRPO)에 **advantage function에 entropy term 추가**.
**entropy term은 clipping과 gradient detachment 적용**하여, 기존 advantage의 방향을 유지하면서도 탐색을 촉진.
**Pivotal tokens**(예: first, because, however)와 **reflective actions**(self-verification, correction)가 **고 영역**에 위치함을 실증적으로 확인.
**데이터셋**: AIME 2024/2025, AMC 2023, MATH500.
**훈련 파라미터**: rollout temperature 0.6, 최대 응답 길이 8K tokens, top-p sampling (p=0.95).
**Pass@K 평가**: K=256(AIME), 128(AMC), 16(MATH500).

주요 결과

**AIME2025**(30문제)에서 Pass@256 기준, 기존 RL 기반 모델 대비 **상당한 성능 향상**.
**기존 base 모델의 성능 한계를 돌파**하여, Pass@K에서 **base model의 상한선을 초과**.
**Pivotal tokens 사용 빈도 증가**, **reflective actions 유도**, **응답 길이 증가** 없이 반복률 감소.
**Pass@K 메트릭**(K=256)에서 기존 RLVR 기반 모델 대비 **+10% 이상 개선**.

의의 및 한계

본 연구는 ** 기반 탐색**을 언어 모델의 추론 훈련에 적용함으로써, **기존 정확도 중심 접근법의 한계를 극복**하고, **더 깊고 긴 추론 체인을 유도**할 수 있음을 보여준다. 특히, **기존 RL 알고리즘에 단 한 줄의 코드 추가**로도 성능 향상을 달성한 점에서 실용적 가치가 높다.

그러나, **entropy term의 가중치 조정**이나 **과도한 탐색으로 인한 정확도 저하 가능성**은 추가 연구가 필요한 부분이다. 또한, **Pass@K 메트릭은 추론 능력의 상한을 추정하는 지표**이므로, 실제 추론 과정에서의 **정확성과 일관성**을 보장하기 위한 추가 평가가 필요하다.

실용적 활용

본 연구는 **복잡한 수학 문제 해결**, **다단계 추론이 필요한 대화 시스템**, **자율 학습 언어 모델** 등에서 활용 가능하다. 특히, **기존 RLVR 파이프라인에 최소한의 수정으로 즉시 적용** 가능한 점에서, **산업 현장에서의 모델 최적화 및 성능 향상**에 기여할 수 있다.