Rethinking Classifier-Free Guidance in On-Policy Diffusion Distillation

On-policy distillation (OPD) adapts diffusion models by querying a teacher along trajectories generated by the current student, but how it should behave under classifier-free guidance (CFG), a default component of modern diffusion systems, remains poorly understood. Existing OPD methods naturally extend velocity matching to the CFG-composed prediction, directly matching teacher and student guided velocities. We show that this objective is under-identified at the branch level: positive- and negative-branch errors can compensate in the guided prediction. Through two contrasting cases, we find that naive matching remains effective under shared negative conditioning, where both branch errors decrease jointly. When the model's native CFG schema retains privileged information in the teacher's negative branch that is unavailable to the student, however, this joint reduction breaks down and the composed objective induces antagonistic branch-error dynamics, reducing the positive-branch error while increasing the negative-branch error. We term this failure mode Negative Branch Asymmetry (NBA). To address NBA, we introduce Positive--Direction Matching (PDM), a branch-aware OPD objective that separately constrains the positive prediction and the CFG conditional direction. We apply PDM to dense-to-sparse video control, where naive guided matching is highly sensitive to inference guidance scales, while branch-aware supervision enables more robust and effective knowledge transfer.

한 줄 요약

On-policy diffusion distillation에서 classifier-free guidance 조건 하의 지도 효과를 개선하기 위해 Positive–Direction Matching(PDM)을 제안한다.

핵심 기여도

기존 OPD가 CFG-composed velocity 매칭을 통해 학습하지만, 이는 branch level에서 under-identified 문제를 유발함.
Negative Branch Asymmetry(NBA) 현상을 발견: 교사 모델의 negative branch에만 존재하는 정보가 학습되지 않아 branch error가 상호 보완되지 않음.
PDM을 제안: positive prediction과 CFG conditional direction을 분리하여 지도함으로써 branch error 보완을 방지함.
PDM은 dense-to-sparse video control에서 inference guidance scale 변화에 대한 robustness를 향상시킴.

핵심 아이디어

기존 OPD는 teacher와 student의 CFG-composed velocity를 직접 매칭하지만, 이는 positive-branch와 negative-branch 오류가 서로 보완될 수 있는 문제를 야기한다. 이는 branch-level에서 under-identified loss로 작용하여, 특히 교사 모델의 negative branch에만 존재하는 정보가 학습되지 않을 경우, positive-branch 오류는 줄어들지만 negative-branch 오류는 증가하는 **antagonistic branch-error dynamics**를 유발한다. 이를 **Negative Branch Asymmetry(NBA)**라고 명명하며, 이는 inference 시 guidance scale이 변경되면 학습된 보완이 무효화되어 성능 저하를 초래한다. 이를 해결하기 위해, PDM은 positive prediction과 CFG conditional direction을 분리하여 지도함으로써 branch error 보완을 방지하고, robust한 지도를 가능하게 한다.

기술적 접근법

기존 naive matching:

$$
\mathcal{L}_{\mathrm{naive}} \propto \|\widetilde{\mathbf{v}}^{T} - \widetilde{\mathbf{v}}^{S}\|_2^2
$$
여기서 $\widetilde{\mathbf{v}} = \gamma \mathbf{v}^+ + (1 - \gamma)\mathbf{v}^-$는 CFG-composed velocity이다.

PDM:

$$
\mathcal{L}_{\mathrm{PDM}} \propto \|\mathbf{v}_S^+ - \mathbf{v}_T^+\|_2^2 + \|\mathbf{v}_S^+ - \mathbf{v}_S^- - (\mathbf{v}_T^+ - \mathbf{v}_T^-)\|_2^2
$$
positive prediction과 CFG conditional direction을 분리하여 지도함.

IBM: positive와 negative branch를 각각 매칭.
실험 환경: FLUX.2-klein-4B-base 모델, 512×512 해상도, VAE 인코딩, reference 이미지와 null prompt 조건 적용.

주요 결과

**Text-rendering distillation**에서 naive matching은 positive-branch와 negative-branch 오류가 함께 감소하며 효과적.
**Reference-conditioned distillation**에서 naive matching은 positive-branch 오류 감소와 함께 negative-branch 오류 증가를 유발함 (NBA 발생).
PDM과 IBM은 guidance scale 변화에도 stable한 성능 유지.
**Dense-to-sparse video control**에서 PDM은 pose, depth, scribble modalities에서 control fidelity를 향상시킴 (구체적 수치 미제공).

의의 및 한계

PDM은 branch-level에서의 오류 보완을 방지함으로써, 다양한 guidance scale에서의 robustness를 향상시키며, image domain뿐만 아니라 video control에서도 효과적임을 보여준다. 그러나 PDM과 IBM의 상대적 성능은 아직 이론적으로 설명되지 않았으며, 다른 guidance 메커니즘과 conditioning asymmetry에 대한 분석이 필요하다. 또한, PDM의 장점을 이론적으로 입증하는 연구가 부재하며, 이는 향후 연구 주제로 제시된다.

실용적 활용

PDM은 video editing, text-to-image generation, reference-conditioned image synthesis 등에서 inference 시 guidance scale 변화에 따른 성능 저하를 방지할 수 있다. 특히, 학습 데이터가 제한적이고 inference 시 조건이 변하는 실시간 시스템에 유용할 것으로 기대된다.