OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators

We propose OPSD-V, an on-policy self-distillation paradigm for post-training few-step autoregressive (AR) video diffusion models. Existing few-step AR video generators can produce long videos with low latency, but still suffer from error accumulation and weakened motion dynamics during long autoregressive rollout. OPSD-V reduces long-horizon degradation while preserving the original few-step inference path. The key idea is to introduce real long-video data as temporal context during training and use it to provide dense trajectory-level supervision. Specifically, the student follows the exact inference-time rollout, generating each chunk conditioned on its own previously generated KV cache. In parallel, the teacher is evaluated at the same student-visited denoising states, but uses a cleaner AR-consistent temporal cache in which older history can be replaced by real-video context. This provides dense denoising-level corrective targets under on-policy AR cache dynamics, without changing the sampler, number of denoising steps, or inference-time cache mechanism. We apply OPSD-V to representative few-step AR video models, including Self-Forcing and LongLive. Experiments show consistent improvements in visual quality, motion dynamics, and VBenchLong scores. A user study with 10 participants comparing 20 video pairs shows that OPSD-V is preferred over the base models in 66.0% of overall-preference judgments (82.5% excluding ties).

한 줄 요약

OPSD-V는 자동 회귀 비디오 생성 모델의 장기 생성 안정성을 향상시키는 온-폴리시 셀프-디스틸레이션 프레임워크다.

핵심 기여도

**OPSD-V**라는 새로운 온-폴리시 셀프-디스틸레이션 프레임워크 제안.
기존 모델(Self-Forcing, LongLive)에 적용 시 **VBenchLong 점수 향상**.
**66.0%**의 사용자 선호도 달성 (20개 비디오 쌍 비교 기준).
**KV 캐시 기반**의 자동 회귀 생성 경로를 유지하면서도 장기 생성 품질 개선.

핵심 아이디어

기존 자동 회귀 비디오 생성 모델은 짧은 클립 기반의 교사 모델에 의존하여 장기 생성 시 오류 누적이 발생한다. OPSD-V는 이 문제를 해결하기 위해 **실제 장기 비디오 데이터를 온-폴리시 학습 과정에서 풍부한 시간적 맥락으로 활용**한다. 학습 시, 학생 모델은 기존의 자동 회귀 추론 경로를 그대로 따르며, 교사 모델은 더 깨끗한 장기 비디오 기반의 캐시를 사용해 **밀집된 디노이징 수준의 교정 타겟**을 제공한다. 이는 학생 모델이 자신의 생성 경로를 유지하면서도 장기 동작을 개선할 수 있도록 한다.

기술적 접근법

**Self-Forcing**, **LongLive** 모델에 적용.
**4-step AR 추론 경로** 유지.
**KV 캐시 기반** 자동 회귀 생성 유지.
**교사 모델**은 동일한 노이즈 레벨에서 더 깨끗한 장기 비디오 기반 캐시를 사용.
**LoRA**를 사용한 사후 학습.
**VBenchLong**, 사용자 평가, MeiBench, MovieGenBench 데이터셋 사용.

주요 결과

**VBenchLong 점수 향상**.
**20개 비디오 쌍 비교에서 66.0% 사용자 선호도** (무승부 제외 82.5%).
**Self-Forcing, LongLive** 모델에 적용 시 시각 품질과 움직임 동역학 개선.
**4-step AR 추론 경로 유지** 하에 장기 생성 안정성 향상.

의의 및 한계

OPSD-V는 자동 회귀 비디오 생성 모델의 장기 생성 문제를 해결하는 새로운 학습 프레임워크를 제시한다. 기존 DMD 방식의 제한을 극복하고, 실제 장기 비디오 데이터를 활용한 **밀집된 교정 학습**을 가능하게 한다. 그러나 **사용 가능한 장기 비디오 데이터의 양과 품질**에 따라 성능이 달라질 수 있으며, **더 복잡한 캐시 정책**이나 **강화된 교사 모델**이 필요할 수 있다.

실용적 활용

OPSD-V는 실시간 스트리밍 아바타, 대화형 미디어, 월드 모델 기반 애플리케이션 등에서 **장기 비디오 생성의 안정성과 품질을 향상**시키는 데 활용 가능하다. 특히, 사용자와의 상호작용 중 지속적인 비디오 생성이 필요한 시스템에 적합하다.