Thinking Inertia: LLMs Keep Thinking When Told Not To

Large Language Models (LLMs) increasingly ship with explicit "thinking modes", yet their counterpart, "no-thinking", has received far less attention. We study LLMs' no-thinking behavior along two axes. a. How to measure no-thinking? Prior work typically defines no-thinking through proxies such as a disabled thinking mode or the absence of long traces. These proxies are unreliable: disabled thinking modes may still emit reasoning, while long traces may contain filler rather than genuine inference. We instead normalize each response into a pre-answer trace and final answer, and evaluate it at three levels: (i) Empty-Thinking Rate for strict answer-only compliance; (ii) instruction-aware Question-Pre-answer Relevance for similarity between the question and pre-answer trace; and (iii) LLM-as-judge Explicit Inference Rate for visible explicit inference. Together, these metrics distinguish answer-only output, relevant but non-inferential text, and explicit inference. b. How does no-thinking vary across tasks and models? We evaluate six prompting interventions on six LLMs across Boolean, multiple-choice, and open-ended questions. We find that explicit no-think controls cannot reliably eliminate visible inference. Models instead exhibit "Thinking Inertia": explicit inference persists even under strict controls and becomes more prevalent as the answer space opens. Accuracy remains stable on Boolean and multiple-choice tasks, whereas open-ended tasks reveal a trade-off between answer-only compliance and task accuracy. Rewriting the same questions across answer spaces shows that supplying candidate answers makes answer-only responses easier to produce. These findings establish no-thinking as a non-trivial capability: stopping explicit reasoning cannot be assumed from model settings or instructions alone and deserves systematic evaluation alongside reasoning ability.

한 줄 요약

LLMs의 "no-thinking" 동작은 명시적 제어에도 불구하고 "Thinking Inertia"를 보이며, 엄격한 평가 체계가 필요하다.

핵심 기여도

**Empty-Thinking Rate (ETR)**, **Question–Pre-answer Relevance (QRel.)**, **Explicit Inference Rate (EIR)** 세 가지 지표를 제안하여 no-thinking 응답을 체계적으로 평가.
**DeepSeek-V4-Flash (284B)** 모델에서 no-thinking 설정에서도 99.9%의 open-ended 응답에 명시적 추론이 나타남.
**Thinking Inertia** 현상: 추론은 입력 제한보다 **answer space**에 따라 달라짐. Boolean < MCQ < Open-ended 순으로 추론 비율 증가.
**Stronger answer-only 제약**은 ETR을 0%에서 40%로 높이지만, 정확도는 감소함.

핵심 아이디어

기존 연구는 no-thinking을 단순히 "생성 길이" 또는 "추론 태그 유무"로 정의했으나, 이는 불완전하다. 예를 들어, "Let me think..." 같은 문장도 추론으로 간주될 수 있지만, 실제 추론 단계는 아닐 수 있다. 본 연구는 LLM 응답을 **pre-answer trace**와 **final answer**로 분리하고, 세 가지 수준에서 평가한다.

**Empty-Thinking Rate (ETR)**: 응답이 단순히 정답만 출력하는 비율.
**Question–Pre-answer Relevance (QRel.)**: 질문과 pre-answer trace 간 유사도를 **Qwen3-Embedding-4B**로 측정.
**Explicit Inference Rate (EIR)**: **GPT-5.5**가 pre-answer trace에 명시적 추론이 포함되어 있는지 판단.

이러한 분리와 평가 체계를 통해, no-thinking이 단순히 "짧은 응답"이 아니라 **명시적 추론의 유무**를 기준으로 정의할 수 있음을 보여준다.

기술적 접근법

**모델**: 6개의 LLM (open-source 및 commercial 포함).
**데이터셋**: Boolean, multiple-choice, open-ended 세 가지 유형의 질문.
**평가 지표**:
**ETR**: 정답만 출력하는 비율.
**QRel.**: Qwen3-Embedding-4B를 사용한 질문-응답 유사도.
**EIR**: GPT-5.5가 판단하는 명시적 추론 포함 여부.
**Prompting interventions**: 6가지 유형의 제어 조건을 실험.
**Human validation**: 5명의 어노테이터가 ETR, QRel., EIR를 수동으로 검증. EIR의 경우 98.8%의 이진 일치율 보임.

주요 결과

**DeepSeek-V4-Flash (284B)**: no-thinking 설정에서도 open-ended 질문에 대해 99.9%의 응답에 명시적 추론이 나타남.
**Thinking Inertia**: Boolean 질문에서 가장 낮은 추론 비율 (ETR: 0.1%), MCQ (ETR: 10%), Open-ended (ETR: 99.9%) 순으로 증가.
**Answer-only 제약**: Open-ended 질문에서 ETR 0%에서 40%로 증가했으나, 정확도는 감소.
**Human validation**: M2와 M5 조건에서 Open-ended 질문의 EIR가 100.0%에서 57.1%로 감소함.

의의 및 한계

본 연구는 no-thinking이 단순히 "짧은 응답"이 아니라 **명시적 추론의 유무**를 기준으로 평가해야 함을 강조한다. 이는 LLM의 추론 제어 및 효율성 향상에 중요한 기초가 될 수 있다. 그러나, EIR는 GPT-5.5와 같은 외부 모델에 의존하며, 모델 간 차이가 있을 수 있다. 또한, no-thinking 설정이 추론을 완전히 억제하지 못하는 한계가 명확히 드러남.

실용적 활용

본 연구는 LLM이 특정 상황에서 추론을 억제하고 즉각적인 응답을 제공하는 능력을 평가하는 데 활용될 수 있다. 예를 들어, 실시간 고객 지원 시스템, 자동 번역, 또는 단순 응답이 필요한 IoT 장치에서 적용 가능하다. 또한, 모델의 추론 제어 기능을 개선하기 위한 학습 및 평가 프레임워크로도 활용될 수 있다.