Negative Self-Distillation: Learning to Reason by Avoiding Flaws

On-Policy Self-Distillation (OPSD) has emerged as a popular paradigm for large language model (LLM) self-improvement, allowing models to act as their own teachers by leveraging privileged information such as ground-truth solutions. However, recent findings indicate that OPSD can severely degrade the performance of LLMs on complex reasoning tasks: By forcing the student to imitate an artificially confident reasoning trace conditioned on privileged information, OPSD inadvertently suppresses expressions of uncertainty and penalizes the exploratory, self-corrective behaviors required to solve challenging problems. To address this, we introduce Negative Self-Distillation (NSD), a new framework that optimizes LLMs by diverging from flawed reasoning rather than imitating privileged solutions. Instead of relying on ground-truth answers or external supervision, NSD uses the model itself to generate a question-specific negative condition (eg, acting as a ``careless reasoner'') and pushes the student's distribution away from this self-generated negative teacher. Naively applying unlearning objectives to achieve this divergence is problematic, as flawed reasoning tokens are confounded with basic linguistic tokens; indiscriminately penalizing both risks catastrophically degrading the model's foundational language capabilities. We resolve this by designing a dynamic gating mechanism that automatically identifies and isolates reasoning-critical tokens, ensuring gradient updates target only behavioral flaws while preserving the model's linguistic priors. Empirically, NSD consistently outperforms OPSD and other label-free, self-bootstrapping reinforcement learning (RL) baselines.

한 줄 요약

NSD는 LLM이 스스로 생성한 오류 추론을 피하도록 훈련하여 수학적 추론 성능을 향상시키는 새로운 자기 부트스트랩 프레임워크이다.

핵심 기여도

NSD는 외부 교사 모델 없이, 모델 스스로 생성한 "부정 조건"을 기반으로 학습하여, 기존 OPSD 방식의 단점을 보완한다.
토큰 수준의 다이나믹 게이팅 메커니즘을 도입하여, 오류 토큰만 선택적으로 페널티를 적용하고 언어 사전 지식은 보존한다.
AIME, HMMT, MATH 등 7개 수학 추론 벤치마크에서 1.7B, 4B, 8B 모델 모두에서 평균 2.3%, 7.5%, 6.0%의 성능 향상 기록.
단일 학습 샘플당 rollout 1개만 필요하며, 병렬 처리를 통해 훈련 효율성 향상.

핵심 아이디어

기존의 On-Policy Self-Distillation (OPSD)는 모델이 정답 정보를 바탕으로 생성한 "정확한 추론"을 학습하도록 유도하지만, 이는 모델이 불확실성을 표현하거나 스스로 수정하는 능력을 억제하는 부작용을 초래한다. 이에 반해 NSD는 모델이 스스로 "부정 조건"을 생성하여, 예를 들어 "미숙한 추론자"처럼 행동하게 만들고, 이로부터 벗어나도록 훈련한다. 이는 모델이 단순히 정답을 모방하는 것이 아니라, 오류를 인식하고 피하는 능력을 키우는 새로운 학습 패러다임이다. 핵심 아이디어는 "오류 추론을 피하는 것"이 복잡한 추론 능력을 향상시키는 데 더 효과적이라는 통찰에 기반한다.

기술적 접근법

NSD는 다음과 같은 기술적 구성 요소로 이루어진다:

**Negative Conditioning**: 모델 스스로 "부정 조건"을 생성하여, 예를 들어 "careless reasoner"처럼 행동하게 만든다.
**Gated Unlikelihood Objective**: 부정 조건 모델과 참조 모델을 비교하여, 오류 토큰만 선택적으로 페널티를 적용한다.
**Dynamic Token-Level Gating Mechanism**: 토큰별로 부정 조건이 토큰 확률을 증가시킬 때만 게이트를 활성화하여, 언어적 기본 구조는 보존하면서 오류만 수정한다.
**Bounded Unlikelihood with Sigmoid**: 페널티를 Sigmoid 함수로 제한하여, 확률이 높은 토큰(예: 구두점)에 과도한 페널티를 주지 않도록 안정화.
**Parallelized Forward Passes**: 부정 교사 모델과 참조 모델을 병렬 처리하여 훈련 효율성 향상.

주요 결과

NSD는 AIME 24/25/26, HMMT, AMC, OlympiadBench, MATH 등 7개 수학 추론 벤치마크에서 기존 OPSD 및 TTRL, Intuitor 등 대비 평균적으로 2.3% (1.7B), 7.5% (4B), 6.0% (8B)의 성능 향상을 기록.
단일 샘플당 rollout 1개만 필요하며, 기존 방법 대비 훈련 효율성이 높음.
NSD는 모델의 자기 수정 능력을 보존하면서, 과도한 확신(overconfidence)을 줄이는 효과를 보임.

의의 및 한계

NSD는 기존 OPSD 방식의 단점을 보완하면서, 외부 정답 정보 없이도 모델 스스로 학습할 수 있는 새로운 자기 부트스트랩 프레임워크를 제시한다. 특히, 토큰 수준의 선택적 페널티를 통해 언어 사전 지식을 보존하면서 오류 추론을 수정할 수 있다는 점에서 학술적·실용적 가치가 크다. 그러나, 부정 조건 생성 전략의 다양성에 따라 성능이 달라질 수 있으며, 특정 유형의 문제에서는 부정 조건이 효과적으로 생성되지 않을 가능성도 존재한다. 또한, NSD는 수학 추론에 초점이 맞춰져 있어, 다른 유형의 추론(예: 논리적 추론, 추상적 추론)에 대한 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

NSD는 대규모 언어 모델의 수학적 추론 능력을 향상시키는 데 활용할 수 있으며, 특히 정답 정보가 제한적인 상황에서 유용하다. 예를 들어, 교육 AI, 자동 문제 풀이 시스템, 과학 연구 도구 등에서 모델의 자기 수정 능력을 강화하여 복잡한 문제 해결 능력을 향상시킬 수 있다.