When2Think: Learning Difficulty-Aware Length Control for Efficient Hybrid Reasoning Models

Large Reasoning Models (LRMs) achieve strong performance on complex tasks but exhibit systematic inefficiency: they often overthink easy problems and underthink hard ones. Existing approaches based on uniform length penalties or rigid routing incur an efficiency tax, trading reduced computation on easy instances for accuracy loss on hard instances. We formulate efficient reasoning as an instance-adaptive computation allocation problem and propose When2Think, a post-training framework for hybrid reasoning that dynamically allocates computation based on problem difficulty. Our method introduces Instance-level Difficulty-Aware Control (IDAC), a reward-shaping mechanism that leverages pre-computed reference statistics (accuracy and token usage) to regulate reasoning depth. Combined with verifier-based rewards and batch-wise standardized advantages, IDAC enables stable critic-free optimization without learned reward models or online reference-model queries. When2Think encourages direct answering on easy instances while preserving extended reasoning on hard instances, thereby learning when to use System 1 (NoThink) versus System 2 (Think). Experiments on mathematical benchmarks demonstrate improved accuracy-efficiency trade-offs: on AIME24, Pass@3 increases by 10.0% while token usage is reduced by 27.9% relative to the base model, and on AIME25, When2Think achieves 40.0% Pass@3, outperforming compression and routing-only baselines.

한 줄 요약

When2Think는 문제 난이도에 따라 추론 깊이를 조절하여 효율적인 하이브리드 추론을 학습하는 포스트-트레이닝 프레임워크이다.

핵심 기여도

**Instance-level Difficulty-Aware Control (IDAC)** 도입: 사전 계산된 정확도와 토큰 사용량을 기반으로 추론 깊이를 조절.
**Critic-free 최적화**: 학습된 보상 모델이나 온라인 참조 모델 쿼리 없이 안정적인 최적화 가능.
**AIME24에서 Pass@3 10.0% 증가, 토큰 사용량 27.9% 감소**: 기존 모델 대비 정확도-효율성 균형 개선.
**AIME25에서 Pass@3 40.0% 달성**: 압축 및 라우팅 기반 베이스라인을 초과.

핵심 아이디어

When2Think는 기존의 일관된 길이 제한이나 고정된 라우팅 방식이 문제 난이도에 따라 계산을 잘못 할당하여 발생하는 **efficiency tax**를 해결하기 위해 설계되었다. 이는 **System 1 (NoThink)** 과 **System 2 (Think)** 추론을 통합한 하이브리드 추론 프레임워크로, 문제 난이도에 따라 **추론 여부와 깊이를 동적으로 조절**한다. 핵심 아이디어는 **Instance-level Difficulty-Aware Control (IDAC)** 이다. 이는 사전 계산된 참조 통계(정확도, 토큰 사용량)를 기반으로 보상을 형성하여 추론 깊이를 조절하는 메커니즘이다. IDAC는 **Batch-Wise Standardization (BWS)** 와 결합되어 **Critic-free 최적화**를 가능하게 하며, 이는 복잡한 보상 모델 없이도 안정적인 학습을 보장한다.

기술적 접근법

**IDAC (Instance-level Difficulty-Aware Control)**: 참조 통계(정확도, 토큰 사용량)를 기반으로 보상을 형성.
**Batch-Wise Standardization (BWS)**: 배치 단위로 표준화하여 안정적인 최적화를 지원.
**Verifier-based Rewards**: Math-Verify와 MARIO Eval을 사용한 이중 검증 기반 보상.
**Post-training Framework**: 기존 LLM을 기반으로 System 1과 System 2 추론 정책을 통합.
**Dataset**: AIME I/II (2024–2025), GSM-Plus, OlympiadBench, MATH-500 등 수학 추론 벤치마크 사용.
**Metric**: Pass@k (정확도), 토큰 사용량 (효율성)으로 평가.

주요 결과

**AIME24**: Pass@3 10.0% 증가, 토큰 사용량 27.9% 감소 (기존 모델 대비).
**AIME25**: Pass@3 40.0% 달성, 압축 및 라우팅 기반 베이스라인을 초과.
**GSM-Plus, OlympiadBench 등**: 다양한 수학 추론 벤치마크에서 정확도-효율성 균형 개선.

의의 및 한계

When2Think는 추론 효율성 문제를 **계산 자원의 잘못된 할당**으로 재정의하고, 이를 **난이도에 따른 적응적 제어**로 해결함으로써 기존의 단순 압축 방식과 구별된다. 이는 **하이브리드 추론 시스템**의 설계 원칙을 제시하며, 대규모 추론 모델의 **확장성과 신뢰성**을 동시에 높이는 방향을 제시한다. 그러나, IDAC는 사전 계산된 참조 통계에 의존하므로, 실시간 환경에서는 제한이 있을 수 있다. 또한, 수학 문제에 초점이 맞춰져 있어, 다른 도메인으로의 일반화 가능성은 명시되지 않음.

실용적 활용

When2Think는 **수학 문제 해결, STEM 교육, 자동화된 시험 평가** 등에서 유용하게 활용될 수 있다. 특히, **복잡한 문제에 대한 정확한 추론**이 필요한 동시에 **간단한 문제는 빠르게 처리**해야 하는 산업 시스템(예: 고객 지원 챗봇, 자동화된 분석 플랫폼)에 적합하다.