Continually Post-training Small Models via Synthetic Self-distillation

Continual post-training faces a dual challenge of acquisition and retention: models must learn new capabilities while preserving prior knowledge. While Self-Distillation Fine-Tuning (SDFT) mitigates this using self-supervision with in-context demonstrations, it relies on strong in-context learning and instruction-following abilities. Consequently, SDFT fails on smaller models critical for low-latency, on-device use. To enable continual learning at smaller scales, we first identify the root cause of failure. We show that poor acquisition and forgetting correlate linearly with the post-trained model's distribution shift, revealing the necessity of in-distribution learning. We thus introduce Synthetic Self-Distillation (SynthSelf), imitating SDFT's in-distribution rewrite by outsourcing the task to a minimally larger, same-family aligner. Coupled with off-policy supervision and rejection sampling, this provides the high-quality supervision small models require without breaking their original distribution. Evaluations spanning 4 acquisition datasets (including a mixture) and 14 retention benchmarks show SynthSelf consistently outperforms 6 methods (including off- and on-policy distillation) across 3 small model scales. Extensive further analyses confirm SynthSelf paves the way toward effective small-model continual learning.

한 줄 요약

소규모 모델의 지속 학습을 위한 합성 자기-디스틸레이션(SynthSelf)을 제안하여 기존 SDFT의 한계를 극복한다.

핵심 기여도

SDFT가 소규모 모델에서 실패하는 근본 원인을 분석: 분포 이동과 학습/유지 간의 선형 상관 관계를 밝힘.
SynthSelf를 제안: 소규모 모델의 분포를 유지하면서 학습 효과를 높이는 합성 자기-디스틸레이션 방법.
4개의 acquisition 데이터셋과 14개의 retention 벤치마크에서 6개 기존 방법을 상회.
3개의 소규모 모델 규모에서 일관된 성능 개선: 최대 +16.9%p의 acquisition 성능 향상.

핵심 아이디어

기존 SDFT는 in-context learning과 instruction-following 능력에 의존하여 소규모 모델에서 실패한다. 이는 소규모 모델이 분포 이동(distribution shift)에 취약하기 때문이다. 연구자들은 acquisition 성능 저하와 forgetting(유지 실패)이 모델의 분포 이동과 선형적으로 상관관계가 있음을 실험적으로 밝혔다. 이를 해결하기 위해 SynthSelf는 SDFT의 in-distribution rewrite 과정을, 소규모 모델과 동일한 가족이지만 약간 더 큰 aligner 모델에 위탁한다. 이 aligner는 off-policy supervision과 rejection sampling을 통해 소규모 모델에 고질적인 지도를 제공한다. 핵심 아이디어는, 소규모 모델의 분포를 유지하면서도, 더 강력한 모델의 지식을 활용하는 것이다.

기술적 접근법

**SDFT 실패 원인 분석**: 실험 1과 2에서 acquisition 성능 저하와 forgetting이 분포 이동과 선형적으로 상관관계 있음 (Spearman ρ = -0.85).
**SynthSelf 구조**:
**Aligner 모델**: Qwen2.5-7B, Qwen2.5-14B 등 소규모 모델과 동일한 가족이지만 약간 더 큰 모델.
**Off-policy supervision**: 학습 데이터를 직접 사용하지 않고, aligner가 생성한 합성 데이터를 사용.
**Rejection sampling**: 모델이 생성한 답변을 검증하여 정확한 답변만 선택.
**데이터셋**: OpenR1-Math-220k, GPQA-Diamond, ARC-C, MMLU-Pro, HumanEval, MBPP 등.
**분포 이동 제어**: 합성 데이터 생성 시 low-shift (LO)를 사용하여 기존 분포 유지.

주요 결과

**Acquisition 성능**: 4개의 acquisition 데이터셋(과학 혼합 포함)에서 SynthSelf가 기존 6개 방법을 상회.
**Retention 성능**: 14개의 retention 벤치마크에서 기존 최고 성능과 동일 수준 유지.
**성능 개선 폭**: 평균 +5.7%p에서 최대 +16.9%p의 acquisition 성능 향상.
**Medical 도메인**: Aligner가 이미 학습 데이터를 완벽히 알고 있어, demonstration injection 효과가 제한적임에도 불구하고 SynthSelf가 다른 방법보다 경쟁력 있음.

의의 및 한계

**의의**: 소규모 모델의 지속 학습을 가능하게 하는 새로운 프레임워크를 제시. 기존 SDFT가 요구하는 강력한 in-context learning 능력 없이도 효과적인 학습 가능.
**한계**: Medical 도메인에서는 aligner가 학습 데이터를 이미 완벽히 알고 있어, demonstration injection의 효과가 제한적. 이는 특정 도메인에서의 일반화 가능성에 한계를 제시.

실용적 활용

**소규모 모델 기반 애플리케이션**: SynthSelf는 on-device 모델, 저지연 모델, 대형-소형 협력 모델 등에 적용 가능.
**지속 학습 시스템**: 사용자 맞춤형 학습, 실시간 업데이트가 필요한 시스템에서 유용.
**교육 및 의료 분야**: 학습 데이터가 제한적이거나, 지속적인 업데이트가 필요한 상황에서 활용 가능.