AdaptThink: Reasoning Models Can Learn When to Think

Recently, large reasoning models have achieved impressive performance on various tasks by employing human-like deep thinking. However, the lengthy thinking process substantially increases inference overhead, making efficiency a critical bottleneck. In this work, we first demonstrate that NoThinking, which prompts the reasoning model to skip thinking and directly generate the final solution, is a better choice for relatively simple tasks in terms of both performance and efficiency. Motivated by this, we propose AdaptThink, a novel RL algorithm to teach reasoning models to choose the optimal thinking mode adaptively based on problem difficulty. Specifically, AdaptThink features two core components: (1) a constrained optimization objective that encourages the model to choose NoThinking while maintaining the overall performance; (2) an importance sampling strategy that balances Thinking and NoThinking samples during on-policy training, thereby enabling cold start and allowing the model to explore and exploit both thinking modes throughout the training process. Our experiments indicate that AdaptThink significantly reduces the inference costs while further enhancing performance. Notably, on three math datasets, AdaptThink reduces the average response length of DeepSeek-R1-Distill-Qwen-1.5B by 53% and improves its accuracy by 2.4%, highlighting the promise of adaptive thinking-mode selection for optimizing the balance between reasoning quality and efficiency. Our codes and models are available at https://github.com/THU-KEG/AdaptThink.

한 줄 요약

AdaptThink는 문제 난이도에 따라 사고 모드를 적응적으로 선택해 추론 효율성과 정확도를 동시에 향상시키는 새로운 RL 알고리즘이다.

핵심 기여도

NoThinking 방식이 DeepSeek-R1-Distill-Qwen-1.5B 모델에서 간단한 문제에서 사고 과정을 생략하면서도 정확도를 유지하거나 개선함을 보임.
AdaptThink 알고리즘은 제한 최적화 목적함수와 중요도 샘플링 전략을 결합한 RL 기반 접근법을 제안.
AdaptThink는 GSM8K, MATH500, AIME2024 데이터셋에서 평균 응답 길이를 50.9%~63.5% 감소시키며 정확도를 1.4%~4.1% 향상.
추론 비용을 줄이고 정확도를 동시에 개선하는 새로운 패러다임 제시.

핵심 아이디어

기존 대규모 추론 모델은 모든 문제에 대해 긴 사고 과정(Thinking)을 거치지만, 이는 추론 비용을 증가시키는 주요 원인이다. AdaptThink은 문제 난이도에 따라 사고 모드를 선택적으로 적용함으로써 효율성과 정확도를 균형 있게 유지하는 새로운 아이디어를 제시한다. 구체적으로, 간단한 문제에서는 사고 과정을 생략하는 NoThinking 모드를, 복잡한 문제에서는 Thinking 모드를 선택적으로 사용하도록 모델을 학습시킨다. 이는 인간의 문제 해결 방식과 유사한 적응적 추론 전략을 모델에 구현한 것이다.

기술적 접근법

AdaptThink은 다음과 같은 두 가지 핵심 구성 요소를 포함한다:
1. **제한 최적화 목적함수**: NoThinking을 선택하면서도 전체 성능이 저하되지 않도록 보장하는 목적함수를 설계.
2. **중요도 샘플링 전략**: on-policy 학습 중 Thinking과 NoThinking 샘플을 균형 있게 샘플링하여 cold start 문제를 해결하고, 두 가지 사고 모드를 탐색 및 활용하도록 유도.

이를 통해 모델은 학습 과정 전반에서 두 모드를 유연하게 사용할 수 있도록 훈련된다.

주요 결과

**GSM8K**: DeepSeek-R1-Distill-Qwen-1.5B의 평균 응답 길이 50.9% 감소, 정확도 4.1% 향상.
**MATH500**: 평균 응답 길이 63.5% 감소, 정확도 1.4% 향상.
**AIME2024**: 평균 응답 길이 44.7% 감소, 정확도 1.6% 향상.
전체적으로 DeepSeek-R1-Distill-Qwen-1.5B 모델에서 평균 응답 길이 53% 감소, 정확도 2.4% 향상.

의의 및 한계

AdaptThink은 추론 모델의 효율성과 정확도를 동시에 향상시키는 새로운 패러다임을 제시하며, 특히 실시간 응답이 필요한 애플리케이션에서 유용할 수 있다. 또한, RL 기반의 적응적 추론 전략은 추론 모델의 사용자 경험을 개선하는 데 기여할 수 있다. 그러나 AdaptThink은 특정 모델(DeepSeek-R1-Distill-Qwen-1.5B)에서만 평가되었으며, 다른 모델이나 도메인에서의 일반화 가능성은 추가 연구가 필요하다. 또한, NoThinking 모드가 모든 간단한 문제에 대해 항상 최적이라는 보장도 명시되지 않았다.

실용적 활용

AdaptThink은 실시간 응답이 필요한 고객 지원, 챗봇, 온라인 교육 플랫폼 등에서 추론 모델의 응답 속도와 정확도를 동시에 개선하는 데 활용 가능하다. 특히, 사용자 경험을 고려한 적응형 추론 전략이 필요한 산업 분야에서 유용할 것으로 기대된다.