MixSD: Mixed Contextual Self-Distillation for Knowledge Injection

Supervised fine-tuning (SFT) is widely used to inject new knowledge into language models, but it often degrades pretrained capabilities such as reasoning and general-domain performance. We argue this forgetting arises because fine-tuning targets from humans or external systems diverge from the model's autoregressive distribution, forcing the optimizer to imitate low-probability token sequences. To address this problem, we propose MixSD, a simple external-teacher-free method for distribution-aligned knowledge injection. Instead of training on fixed targets, MixSD constructs supervision dynamically by mixing tokens from two conditionals of the base model itself: an expert conditional that observes the injected fact in context, and a naive conditional that reflects the model's original prior. The resulting supervision sequences preserve the factual learning signal while remaining substantially closer to the base model's distribution. We evaluate MixSD on two synthetic corpora that we construct to study factual recall and arithmetic function acquisition in a controlled setting, together with established benchmarks for open-domain factual question answering and knowledge editing. Across multiple model scales and settings, MixSD consistently achieves a better memorization-retention trade-off compared to SFT and on-policy self distillation baselines, retaining up to 100% of the base model's held-out capability while maintaining near-perfect training accuracy, whereas standard SFT retains as little as 1%. We further show that MixSD produces substantially lower-NLL supervision targets under the base model and reduces harmful movement along Fisher-sensitive parameter directions. These results suggest that aligning supervision with the model's native generation distribution is a simple and effective principle for knowledge injection that mitigates catastrophic forgetting.

📋 한 줄 요약

**[지식 주입 / 자기증류]** 모델의 expert/naive conditional을 혼합해 분포 정합적 감독 신호를 만드는 외부 교사 없는 지식 주입 방법 MixSD 제안.

🎯 핵심 기여도

SFT가 새 지식을 주입하는 표준 방식이지만 사전학습 능력을 손상시킨다는 잘 알려진 문제를 진단하고, 그 원인을 인간/외부 시스템의 fine-tuning target이 모델의 autoregressive 분포와 어긋나 저확률 토큰을 모방하도록 강요하기 때문이라고 정식화.
외부 교사 없이 동일 base 모델의 두 conditional, 즉 주입할 사실을 컨텍스트로 본 expert conditional과 원래 prior인 naive conditional의 토큰을 혼합해 감독 신호를 만드는 MixSD 제안.
감독 시퀀스가 사실 학습 신호를 유지하면서도 base 모델 분포에 훨씬 가깝게 유지되도록 동적 구성.
합성 코퍼스(사실 회상·산술 함수 습득)와 표준 벤치마크(개방 도메인 QA, 지식 편집)에서 일관된 우위, base 모델 능력의 최대 100% 유지에 학습 정확도는 거의 완벽, SFT는 1% 수준으로 떨어지기도 함.

💡 핵심 아이디어

지식 주입 후 망각의 본질은 "target이 모델 분포와 멀다는 것"이며, base 모델 자신을 두 conditional로 분리해 감독 신호를 합성하면 분포 정합성을 자연스럽게 회복할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 외부 교사 없는 self-distillation MixSD; expert conditional(주입할 사실 컨텍스트) + naive conditional(원본 prior)에서 토큰 혼합.
**핵심 기법**: 동적으로 구성되는 감독 신호, base 모델 NLL 측면에서 더 낮은 target NLL 확보, Fisher-sensitive 파라미터 방향으로의 유해 이동 감소.

📊 주요 결과

합성 코퍼스의 사실 회상·산술 함수 습득에서 MixSD가 우위.
개방 도메인 QA·지식 편집 벤치마크에서 SFT·on-policy self-distillation 베이스라인 대비 더 나은 memorization-retention 트레이드오프.
base 모델 held-out 능력의 최대 100% 유지, 학습 정확도는 거의 완벽.
target NLL이 base 모델 기준으로 더 낮고 Fisher-민감 방향 이동 감소 확인.

💭 의의 및 한계

**의의**: catastrophic forgetting 완화에 외부 교사가 필요 없다는 강한 주장과 함께 분포 정합 감독 신호 설계의 원리를 제공. **한계**: expert/naive 두 conditional을 모두 base 모델 자신으로 얻어야 하므로 매우 짧은 컨텍스트로 충분히 표현되지 않는 지식 형태에서는 검증 필요.

🚀 실용적 활용

LLM 도메인 적응·사실 주입에서 능력 보존.
지식 편집 워크플로의 안정적 대안.
외부 교사 없는 self-distillation 레시피의 표준 후보.