AsyncOPD: How Stale Can On-Policy Distillation Be?

On-policy distillation (OPD) trains a student on its own rollouts guided by teacher feedback and is becoming increasingly important for large language model (LLM) post-training. Like reinforcement learning (RL), however, OPD faces an on-policy systems bottleneck, as rollouts can dominate training time for reasoning workloads. Asynchronous training pipelines can alleviate this bottleneck by decoupling rollout generation from learner updates, but doing so introduces stale-policy data. While prior work has studied stale data in asynchronous RL, its effects in OPD remain underexplored. We present the first systematic study of staleness in asynchronous OPD, focusing on a practical setting where teacher feedback is implemented through local KL losses and full-vocabulary teacher logits are too expensive to store or transfer, necessitating finite teacher-score caches. We first show that KL direction changes the stale-data problem: teacher-weighted forward KL is more robust to stale rollouts, whereas student-weighted reverse KL is vulnerable. Second, for this vulnerable reverse-KL case, we study whether methods designed to stabilize asynchronous RL can mitigate OPD staleness. In our experiments, they do not improve over a simpler OPD-specific surrogate: recomputing the reverse-KL signal under the current student at learner time. Third, we analyze how finite teacher-score caches create a bias-variance tradeoff for sparse and sampled reverse-KL OPD estimators. This motivates multi-sample Monte Carlo (MC), which preserves MC correctability while reducing one-sample variance. Finally, we present and open-source AsyncOPD, a fully asynchronous OPD training pipeline built from these estimator choices. Experiments show that AsyncOPD improves training throughput by 1.6times to 3.8times over strict synchronous training while reaching comparable accuracy.

한 줄 요약

AsyncOPD는 비동기적 온-포리시 디스틸레이션(OPD)에서의 오래된 정책 데이터(stale data) 문제를 체계적으로 분석하고, 학습 효율성을 1.6~3.8배 향상시키는 훈련 파이프라인을 제안한다.

핵심 기여도

KL 방향이 stale-data 문제에 영향을 미친다는 것을 밝힘: forward KL은 robust, reverse KL은 취약.
Reverse-KL 기반 OPD에서 PPO 클리핑, M2PO 등 비동기 RL 기법은 효과 없음. 대신 learner time에 reverse-KL advantage 재계산하는 간단한 surrogate가 가장 효과적.
Finite teacher-score cache로 인한 bias-variance tradeoff 분석, multi-sample Monte Carlo (MC) 제안.
AsyncOPD 파이프라인을 개발 및 오픈소스화, 학습 효율성 1.6×~3.8× 향상.

핵심 아이디어

AsyncOPD는 온-포리시 디스틸레이션(OPD)에서 rollout 생성과 학습 업데이트를 분리함으로써 학습 효율성을 향상시키는 비동기 파이프라인을 제안한다. 그러나 이 과정에서 발생하는 stale-policy 데이터는 모델 품질에 영향을 줄 수 있다. 기존 비동기 RL 연구는 이 문제를 다루었으나, OPD에서는 teacher feedback이 local KL loss로 구현되며, full-vocabulary teacher logits 저장이 어려워 teacher-score cache가 필수적이다. 이 연구는 KL 방향, teacher-score cache, estimator 설계 등 OPD 고유의 제약 하에서 stale data 문제를 체계적으로 분석한다. 특히, reverse KL은 student-weighted이기 때문에 stale rollout에 취약하며, 이에 대한 해결책으로 learner time에 advantage를 재계산하는 간단한 surrogate가 가장 효과적임을 밝혔다.

기술적 접근법

**KL 방향 분석**: forward KL은 teacher-weighted이므로 stale rollout에 robust, reverse KL은 student-weighted이므로 취약.
**Reverse-KL surrogate**: PPO 클리핑, decoupled PPO, M2PO는 효과 없음. 대신 learner time에 reverse-KL advantage를 재계산하는 간단한 surrogate가 가장 효과적.
**Teacher-score cache**: full-vocabulary teacher logits 저장이 어려워, finite cache를 사용.
**Estimator 설계**: one-sample MC는 correctable하지만 high-variance. multi-sample MC는 correctability 유지하면서 variance 감소.
**AsyncOPD 파이프라인**: student rollout, teacher scoring, learner update를 비동기적으로 수행.

주요 결과

**KL 방향**: forward KL은 stale rollout에 robust, reverse KL은 취약.
**Reverse-KL surrogate**: PPO 클리핑, M2PO 등은 효과 없음. 대신 learner time에 advantage 재계산하는 간단한 surrogate가 가장 효과적.
**Estimator 성능**: one-sample MC는 correctable하지만 high-variance. multi-sample MC는 variance 감소.
**AsyncOPD 성능**: Qwen3-Base 모델에서 학습 효율성 1.6×~3.8× 향상, 정확도는 동기 훈련과 유사.

의의 및 한계

AsyncOPD는 비동기 OPD에서의 stale data 문제를 체계적으로 분석하고, KL 방향, estimator 설계, teacher-score cache 제약 등을 고려한 실용적 훈련 파이프라인을 제안한다. 이는 대규모 언어 모델의 post-training 효율성을 향상시키는 데 기여할 수 있다. 그러나 연구는 특정 모델(Qwen3-Base)과 데이터셋(AIME 2024, AIME 2025, AMC 2023)에서만 평가되었으며, 다른 모델이나 작업 환경에서의 일반화 가능성은 추가 연구가 필요하다. 또한, teacher-score cache 크기와 샘플링 전략에 따른 tradeoff는 더 깊은 분석이 요구된다.

실용적 활용

AsyncOPD는 대규모 언어 모델의 post-training, 특히 수학 및 코딩 추론 작업에서 학습 효율성을 향상시키는 데 유용하다. 비동기 파이프라인은 하드웨어 활용률을 높이고, KL 방향 및 estimator 설계를 고려한 접근은 모델 품질 저하를 방지할 수 있다. 연구자나 엔지니어가 비동기 OPD를 실제 시스템에 적용할 때 중요한 참고 자료가 될 수 있다.