Causal Forcing++: Scalable Few-Step Autoregressive Diffusion Distillation for Real-Time Interactive Video Generation

Real-time interactive video generation requires low-latency, streaming, and controllable rollout. Existing autoregressive (AR) diffusion distillation methods have achieved strong results in the chunk-wise 4-step regime by distilling bidirectional base models into few-step AR students, but they remain limited by coarse response granularity and non-negligible sampling latency. In this paper, we study a more aggressive setting: frame-wise autoregression with only 1--2 sampling steps. In this regime, we identify the initialization of a few-step AR student as the key bottleneck: existing strategies are either target-misaligned, incapable of few-step generation, or too costly to scale. We propose \textbf{Causal Forcing++}, a principled and scalable pipeline that uses \emph{causal consistency distillation} (causal CD) for few-step AR initialization. The core idea is that causal CD learns the same AR-conditional flow map as causal ODE distillation, but obtains supervision from a single online teacher ODE step between adjacent timesteps, avoiding the need to precompute and store full PF-ODE trajectories. This makes the initialization both more efficient and easier to optimize. The resulting pipeline, \ours, surpasses the SOTA 4-step chunk-wise Causal Forcing under the \textit{\textbf{frame-wise 2-step setting}} by 0.1 in VBench Total, 0.3 in VBench Quality, and 0.335 in VisionReward, while reducing first-frame latency by 50\% and Stage 2 training cost by $\sim$$4\times$. We further extend the pipeline to action-conditioned world model generation in the spirit of Genie3. Project Page: https://github.com/thu-ml/Causal-Forcing and https://github.com/shengshu-ai/minWM .

📋 한 줄 요약

**[비디오 생성 / 확산 모델 증류]** 실시간 상호작용 비디오 생성을 위해 프레임 단위 1~2 스텝 자기회귀 확산 증류를 가능케 하는 인과 일관성 증류(causal CD) 기반 파이프라인 Causal Forcing++ 제안.

🎯 핵심 기여도

청크 단위 4-스텝 AR 증류가 가진 거친 응답 지연·샘플링 지연 문제를 진단하고, 더 공격적인 프레임 단위 1~2 스텝 설정에서의 핵심 병목이 few-step AR student의 초기화임을 규명.
causal consistency distillation으로 AR-조건부 flow map을 학습하되, 단일 online teacher ODE 스텝만으로 supervision을 얻어 full PF-ODE trajectory의 사전 계산·저장을 회피.
4-step chunk-wise Causal Forcing 대비 frame-wise 2-step 설정에서 VBench Total +0.1, VBench Quality +0.3, VisionReward +0.335 달성.
first-frame latency 50% 감소, Stage 2 학습 비용 약 4배 절감, Genie3 계열 행동-조건 world model 생성으로 확장.

💡 핵심 아이디어

완전한 PF-ODE 궤적을 사전 저장·학습에 사용하는 ODE distillation 대신, 인접 timestep 간의 단일 teacher 스텝에서 얻은 동등한 supervision을 사용하면 동일한 AR-conditional flow map을 더 효율적으로 학습할 수 있다는 통찰.

🔬 기술적 접근법

**모델/방법론**: 양방향 베이스 확산 모델 → frame-wise few-step AR student로의 증류 파이프라인, Causal Forcing++.
**핵심 기법**: causal consistency distillation으로 AR few-step 초기화를 수행, 인접 timestep 간 1회 teacher ODE 스텝을 supervision으로 사용해 trajectory 저장 비용을 제거, 이후 본 단계 학습을 통해 frame-wise streaming 생성을 학습.

📊 주요 결과

VBench Total +0.1 / Quality +0.3, VisionReward +0.335 (frame-wise 2-step vs 4-step chunk-wise SOTA).
첫 프레임 지연 50% 단축, Stage 2 학습 비용 ~4× 절감.
action-conditioned world model 생성으로의 확장성 시연 (Genie3 스타일).

💭 의의 및 한계

**의의**: 게임/시뮬레이션/인터랙티브 미디어에서 요구되는 저지연 스트리밍 비디오 생성에 필요한 frame-wise few-step 체제를 실제로 가능케 함. **한계**: 1~2 스텝 체제의 안정성은 teacher 품질에 강하게 의존하며, 매우 긴 시계열에서의 누적 오차 영향은 추가 검증 필요.

🚀 실용적 활용

실시간 상호작용 게임·메타버스용 비디오 생성 엔진.
행동 조건부 월드 모델(예: Genie3 계열) 추론 가속화.
라이브 스트리밍·텔레프레즌스 등 저지연이 본질적인 생성 응용.