DistillAlign: Coordinating Mode Covering and Mode Seeking in Autoregressive Video Distillation

Existing autoregressive video distillation methods commonly adopt a Distribution Matching Distillation (DMD)-based multi-stage pipeline. However, they typically decouple the initialization and DMD stages -- which then pursue different target distributions -- and judge the intermediate student mainly by visual scores such as VBench. In this paper, we revisit this design from a distributional perspective. Given the mode-seeking nature of the distribution matching loss, a good initialization should match the mode coverage of the target DMD teacher, rather than merely pursuing high quality. To analyze this, we introduce a distributional evaluation protocol that measures precision and coverage between student and teacher distributions in a shared latent space. It exposes differences hidden by visual scores: some initializations reach high precision but low coverage, leading to suboptimal refinement, while mode-covering ones preserve broader support. Furthermore, even when the target distributions are aligned, DMD's reverse-KL objective can still drive the student toward high-probability teacher regions in late training, reducing coverage and diversity. To address this, we propose joint distillation, which combines DMD's mode-seeking objective with a Consistency Distillation-based mode-covering constraint. Experiments show that our method improves generation quality, coverage, and diversity; notably, even with a Wan-1.3B DMD teacher, it outperforms baselines refined with Wan-14B, underscoring the importance of distributional alignment in autoregressive video distillation.

한 줄 요약

DistillAlign은 DMD와 CD를 결합하여 초기화와 최종 정제 단계의 분포 일치를 동시에 달성하는 비디오 디스틸레이션 방법이다.

핵심 기여도

**DMD 초기화 단계의 mode coverage 중요성 강조**: 기존 VBench 점수에 의존하지 않고, 초기화 단계에서 teacher의 mode coverage를 반영해야 DMD 정제가 효과적임을 밝힘.
**Distributional Evaluation Protocol 제안**: 공유 잠재 공간에서 student와 teacher의 precision과 coverage를 측정하여, 시각 점수로는 감지되지 않는 분포 차이를 드러냄.
**Joint Distillation 제안**: DMD의 mode-seeking과 CD의 mode-covering을 결합하여, 분포 드리프트를 억제하고 coverage와 diversity를 동시에 향상.
**Wan-1.3B teacher로도 Wan-14B baseline을 초과**: 분포 일치가 teacher 규모보다 더 중요한 성능 요인임을 실증적으로 입증.

핵심 아이디어

기존 autoregressive video distillation 방법은 DMD 기반 다단계 파이프라인을 사용하지만, 초기화와 DMD 단계가 서로 다른 목표 분포를 추구하며, 초기화 평가는 주로 VBench 점수에 의존한다. 이는 분포적 관점에서 문제가 된다. DMD는 mode-seeking 성질을 가지므로, 초기화 단계에서 teacher의 mode coverage를 반영해야 DMD 정제가 효과적이다. 본 연구는 이 관찰을 바탕으로, 초기화 단계의 평가 기준을 mode coverage로 전환하고, DMD와 CD를 결합한 joint distillation을 제안한다. 이는 DMD의 reverse-KL 손실이 late stage에서 coverage를 줄이는 문제를 해결하며, mode-seeking과 mode-covering을 동시에 달성한다.

기술적 접근법

**Distributional Evaluation Protocol**: teacher와 student 샘플을 공유 잠재 공간에 투영하여, precision과 coverage를 측정.
**Joint Distillation**: DMD의 mode-seeking 손실과 CD의 mode-covering 제약을 결합.
**실험 설정**: 16개의 프롬프트와 16개의 랜덤 시드를 사용하여 총 256개의 비디오 샘플 생성.
**모델 규모**: DMD teacher는 Wan-1.3B, baseline은 Wan-14B 사용.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**Wan-1.3B DMD teacher 사용 시, Wan-14B baseline을 초과**: 분포 일치가 teacher 규모보다 더 중요한 성능 요인임을 입증.
**초기화 단계에서 mode coverage가 높은 경우, DMD 정제 후 coverage와 diversity가 향상됨**.
**VBench 점수 높은 초기화가 coverage 낮은 경우, 최종 생성 품질 저하**: VBench 점수만으로 초기화 평가가 부적절함을 드러냄.
**Joint distillation은 DMD의 late-stage distribution drift를 억제**: diversity 감소를 억제하며, quality 유지.

의의 및 한계

**학술적 의의**: 분포 일치가 autoregressive video distillation 성능에 핵심임을 밝힘. 기존 VBench 점수에 의존한 평가 방식의 한계를 지적.
**실용적 의의**: teacher 모델의 규모를 줄이면서도 성능 유지 가능, 비용 효율적인 비디오 생성 모델 개발에 기여.
**한계**: 하이퍼파라미터 세부 사항이 명시되지 않아 재현 시 어려움이 있을 수 있음. 또한, 다양한 teacher 모델 간 비교 실험은 제한적.

실용적 활용

**실시간 비디오 생성 시스템**: teacher 모델의 규모를 줄이면서도 높은 품질과 다양성을 유지할 수 있어, 실시간 생성에 적합.
**대규모 모델 압축**: Wan-14B 수준의 teacher를 1.3B로 대체 가능하여, 비용 효율적인 모델 배포에 활용 가능.
**콘텐츠 생성 플랫폼**: 다양한 스타일과 품질의 비디오를 생성할 수 있어, 사용자 맞춤형 콘텐츠 생성에 유용.