On-policy distillation (OPD) combines student-generated rollouts with dense token-level supervision from a teacher. Existing work has mainly studied its algorithmic behavior, leaving the role of training data unclear. We examine this role at the data-minimal limit by training on a single query. One-shot OPD keeps improving for hundreds of steps and recovers most of full-data OPD's gain across task domains and model families. We explain this result through the states visited during training and the rate at which the student aligns with the teacher. We measure state coverage, the fraction of the states full-data OPD visits that a query set's rollouts reach. A single query already reaches \(71.5\%\), most of it within the first 100 steps. Adding semantically distinct queries raises coverage and validation accuracy together, until 16 queries reach \(98.9\%\) and match full-data training. Yet alignment slows at a similar pace whether OPD trains on one query or the whole dataset, and even a fixed set of states takes hundreds of steps to absorb. OPD is therefore data-overfed but algorithm-starved. Its rollouts quickly expose broad supervision, while the student absorbs that supervision increasingly slowly. The state-coverage result extends to multi-teacher OPD, where 16 semantically diverse queries per domain match full-data MOPD. As a further stress test, content-light templates and off-domain WildChat queries also approach the real-query baseline. Task content and induced state coverage can therefore come apart. We hope these findings direct future work toward the step efficiency of OPD, and prompt a re-examination of the data and the mechanisms behind its recent successes in frontier post-training.
한 줄 요약
단일 훈련 예시로도 대규모 언어 모델의 온-폴리시 디스틸레이션(OPD) 성능을 크게 회복할 수 있음을 밝힘.
핵심 기여도
- 단일 쿼리에서 훈련한 OPD가 1000스텝 동안 지속적으로 개선됨.
- 1개의 쿼리는 전체 데이터 OPD의 71.5% 상태 커버리지를 달성.
- 16개의 의미적으로 다양한 쿼리는 98.9% 상태 커버리지와 전체 데이터 훈련과 동일한 정확도 달성.
- OPD는 데이터는 과잉 공급되지만 알고리즘적으로 흡수 속도가 느림.
핵심 아이디어
기존 연구는 OPD의 알고리즘 동작에 집중했으나, 본 연구는 훈련 데이터의 역할을 조사함. 단일 쿼리로 훈련한 OPD가 수백 스텝 동안 지속적으로 개선되며, 대부분의 성능을 회복함. 이는 훈련 중 학습자가 방문한 상태(state)와 교사 모델과의 정렬 속도(alignment rate)를 통해 설명됨. 상태 커버리지(state coverage)라는 지표를 도입하여, 단일 쿼리가 전체 데이터 OPD의 71.5% 상태를 담당함을 밝힘. 이는 단일 쿼리가 훈련 초기 100스텝 내에 대부분의 상태를 방문함을 의미함. 의미적으로 다양한 쿼리를 추가하면 상태 커버리지와 검증 정확도가 함께 증가하며, 16개의 쿼리에서 98.9%의 상태 커버리지를 달성함. 이는 OPD가 데이터는 충분하지만 알고리즘적으로 흡수 속도가 느리다는 점을 드러냄.
기술적 접근법
- **OPD**: 학습자가 생성한 rollouts와 교사 모델의 토큰 수준 지도를 결합.
- **State coverage**: 전체 데이터 OPD가 방문한 상태 중 특정 쿼리셋이 닿는 비율을 측정.
- **One-shot OPD**: 단일 쿼리로 훈련하며, 1000스텝 동안 지속적으로 성능 향상.
- **Multi-teacher OPD (MOPD)**: 여러 도메인에서 각 쿼리를 해당 도메인의 교사 모델에 라우팅.
- **WildChat queries**: 도메인 외 쿼리도 실질적인 훈련 효과를 보임.
- **Absorption rate**: 각 업데이트가 남은 교사-학생 간 격차를 줄이는 비율. 단일 쿼리와 전체 데이터에서 유사한 감소 속도를 보임.
주요 결과
- **WildChat 데이터셋**: 단일 쿼리에서 71.5%의 상태 커버리지 달성.
- **16개 쿼리**: 98.9% 상태 커버리지, 전체 데이터 훈련과 동일한 정확도.
- **1000스텝 OPD**: RLVR 대비 2배 이상의 검증 정확도 상승.
- **MOPD**: 16개의 의미적으로 다양한 쿼리가 전체 데이터 훈련과 동일한 성능 달성.
의의 및 한계
본 연구는 OPD가 데이터가 아닌 알고리즘 효율성(algorithmic efficiency)에 더 많은 주목을 필요로 함을 밝힘. 단일 쿼리에서도 훈련이 지속적으로 개선되며, 이는 데이터가 풍부하지만 흡수 속도가 느리다는 점을 시사함. 그러나 이는 특정 도메인과 쿼리 유형에 국한될 수 있으며, 일반화 가능성은 추가 연구가 필요함. 또한, 상태 기반 훈련 데이터 설계가 중요함을 강조하며, 향후 연구는 쿼리 선택과 흡수 속도 향상에 초점을 맞춰야 함.
실용적 활용
본 연구는 대형 언어 모델의 후기 훈련(post-training)에서 데이터 최소화 전략을 채택할 수 있음을 보여주며, 특히 훈련 데이터 수집 비용을 줄이고, 알고리즘 효율성 향상에 집중할 수 있는 실용적 기반을 제공함. 의미적으로 다양한 쿼리를 사용하는 방식은 실제 산업적 훈련 환경에서도 적용 가능하며, 콘텐츠가 적은 템플릿이나 도메인 외 쿼리도 효과적으로 활용할 수 있음.