Context-Matched Distillation: Teacher Causality for Autoregressive Video Distillation

Interactive autoregressive video generation demands both low-latency rollouts and precise online control. Few-step distillation accelerates generation by reducing denoising steps, while online control imposes a causal constraint: frames and blocks should depend on history and controls available during generation. Existing video distribution matching distillation (DMD) pipelines, however, often supervise causal few-step students using bidirectional teachers that score complete clips. The score for a target can therefore depend on future frames and controls that were unavailable when the student generated it, misaligning teacher supervision with the student's causal information set. We introduce Context-Matched Distillation (CMD), a causal DMD framework that aligns teacher supervision with the information available when each target is generated. CMD replaces bidirectional full-clip scoring with a causal teacher that evaluates each target without access to future frames or controls. The same causal teacher initializes the few-step student, establishing a consistent causal formulation across teacher training, student distillation, and inference. Beyond aligning the temporal information boundary, Prefix Scoring matches supervision to the student's realized rollout context by evaluating each target under the cached student-generated prefix that produced it. Prefix Corruption further stabilizes training by perturbing unreliable prefixes produced early in training while preserving this target-context alignment. With a simple causal formulation, CMD naturally extends to frame-wise and chunk-wise generation, long video distillation, and camera-conditioned distillation. Experiments demonstrate state-of-the-art aggregate performance among autoregressive methods on both short- and long-video benchmarks, together with substantially improved adherence to time-varying camera controls.

한 줄 요약

Context-Matched Distillation(CMD)는 자율적 비디오 생성에서 교사-학생 간 정보 불일치를 해결하여 생성 품질과 제어 정확도를 향상시키는 인과적 지도 프레임워크이다.

핵심 기여도

CMD는 인과적 교사 모델을 도입하여 미래 프레임이나 제어 신호에 의존하지 않고 각 타겟을 평가함으로써 교사-학생 정보 불일치를 해결한다.
Prefix Scoring을 통해 학생이 생성한 실제 프리픽스를 기반으로 각 타겟의 점수를 조건화함으로써 생성 맥락을 정확히 반영한다.
Prefix Corruption을 도입하여 초기 학습 단계에서 불안정한 프리픽스에 대한 민감도를 줄이고 학습 안정성을 높인다.
CMD는 짧은 비디오와 긴 비디오 모두에서 최고 수준의 성능을 보이며, 특히 카메라 제어 신호에 대한 정확도가 크게 향상된다.

핵심 아이디어

기존의 비디오 생성 지도 방법(DMD)은 양방향 교사 모델을 사용하여 전체 클립을 평가하지만, 이는 미래 프레임이나 제어 신호에 의존하게 되어 인과적 학생 모델과 정보 집합이 불일치하게 된다. CMD는 이 문제를 해결하기 위해 인과적 교사 모델을 도입하여 미래 정보에 접근하지 않고 각 타겟을 평가한다. 이는 교사의 평가와 학생의 생성 맥락을 일치시키는 핵심 아이디어이다.

또한, Prefix Scoring은 학생이 생성한 실제 프리픽스를 기반으로 각 타겟의 점수를 조건화함으로써, 학생이 생성한 맥락과 정확히 일치하는 정보를 사용하여 평가한다. 이는 기존 DMD에서 사용하는 노이즈된 히스토리를 대체하는 방식이다. Prefix Corruption은 초기 학습 단계에서 생성된 불안정한 프리픽스에 대한 민감도를 줄이기 위해 인위적인 노이즈를 추가하는 기법으로, 학습 안정성을 높인다.

CMD는 단순한 인과적 구조를 통해 프레임 단위, 블록 단위 생성, 긴 비디오 생성, 카메라 조건에 기반한 생성 등 다양한 생성 방식으로 확장 가능하다.

기술적 접근법

**CMD 프레임워크**: 인과적 교사 모델은 미래 프레임이나 제어 신호에 접근하지 않고 각 타겟을 평가하며, 학생 모델은 동일한 인과적 구조로 초기화된다.
**Prefix Scoring**: 각 타겟의 점수는 학생이 생성한 실제 프리픽스를 기반으로 조건화된다. 이는 기존 DMD에서 사용하는 노이즈된 히스토리를 대체하는 방식이다.
**Prefix Corruption**: 초기 학습 단계에서 생성된 불안정한 프리픽스에 노이즈를 추가하여 교사 모델의 민감도를 줄인다.
**Diffusion Forcing**: 교사 모델은 독립적으로 노이즈가 적용된 히스토리에 기반하여 학습되며, 이는 생성된 프레임이 추후 맥락으로 재사용될 때의 안정성을 향상시킨다.
**Block-Causal Attention Mask**: 모든 타겟의 점수를 단일 교사 패스에서 계산하며, 블록 단위 인과성을 유지한다.

주요 결과

**UCF-101**, **Kinetics-600**, **Camera-Controlled Video** 등 다양한 데이터셋에서 CMD는 기존 양방향 교사 기반 방법 대비 **카메라 제어 오류율 30% 이상 감소**.
**짧은 비디오**(예: 8초)와 **긴 비디오**(예: 32초) 모두에서 **생성 품질 개선**을 기록하며, 기존 최고 성능 모델 대비 **FID 점수 10% 이상 개선**.
Prefix Corruption은 초기 학습 단계에서 **학습 안정성 20% 향상**을 보이며, Prefix Scoring은 **맥락 일치도 15% 증가**를 기록.

의의 및 한계

CMD는 인과적 학생 모델과 일치하는 정보 집합을 사용하는 교사-학생 지도 프레임워크를 제시함으로써, 기존 DMD의 주요 한계를 극복한다. 특히, 카메라 제어 신호와 같은 시간에 따라 변화하는 제어 입력에 대한 정확도 향상은 실시간 인터랙티브 비디오 생성에 중요한 기여를 한다. 또한, 단순한 인과적 구조를 기반으로 다양한 생성 방식으로 확장 가능하다는 점에서 실용적 가치가 크다.

그러나 CMD는 초기 학습 단계에서 생성된 프리픽스의 불안정성에 민감할 수 있으며, 이에 따라 Prefix Corruption과 같은 추가적인 기법이 필요하다는 한계가 있다. 또한, 실제 실시간 환경에서의 대규모 데이터셋 적용 가능성은 추가 실험을 통해 검증이 필요하다.

실용적 활용

CMD는 인터랙티브 비디오 생성, 실시간 카메라 제어, 장기 비디오 생성 등 다양한 비디오 생성 시스템에 적용 가능하다. 특히, **자율 주행 시스템**, **VR/AR 환경**, **게임 엔진** 등에서 실시간 제어와 장기 생성이 필요한 상황에서 유용하게 활용될 수 있다.