Self Gradient Forcing: Native Long Video Extrapolation

Recent autoregressive video diffusion methods are increasingly built upon Self Forcing, where the student is trained on histories produced by its own rollout rather than ground-truth video contexts. This reduces exposure bias, but the historical key-value cache is still used by future frames only as frozen rollout state. As a result, future losses cannot supervise how earlier generated latents should be written into more useful keys and values for later video-latent generation. We call this the historical context-gradient gap. We propose Self Gradient Forcing (SGF), a two-pass training strategy that restores this missing supervision signal without backpropagating through the full serial rollout. Pass 1 performs a no-gradient autoregressive rollout matching inference and, at a sampled denoising exit step, records both the self-generated context and the noisy latents fed to the model. Pass 2 performs parallel context-gradient reconstruction for the recorded exit step. The generated context is used as stop-gradient clean-latent input, while the model recomputes the context KV representations and future-to-context causal attention. Thus, SGF provides the missing memory-writing supervision within the native autoregressive training objective, using losses on future video latents to train the model to encode context into more effective causal memory. Across extensive long-horizon frame-wise and chunk-wise experiments under different initializations, SGF achieves stronger native long-video extrapolation than Self Forcing, especially in subject identity, background/layout consistency, and temporal stability. Remarkably, using only a 5-second training window, SGF can extrapolate to videos lasting several minutes. Code and models will be released to advance research on autoregressive video generation.

한 줄 요약

Self Gradient Forcing(SGF)는 자동 회귀 비디오 생성에서 역사적 컨텍스트의 학습을 강화하여 장시간 비디오 외삽을 향상시키는 2단계 훈련 전략이다.

핵심 기여도

Self Forcing에서 발생하는 historical context-gradient gap 문제를 정의하고, 이는 미래 손실이 과거 생성된 키-값 캐시의 작성 과정을 학습하지 못함을 밝힘.
SGF는 2단계 훈련 전략으로, future-to-context causal attention을 통해 clean-timestep K/V 표현을 학습하며, full rollout backpropagation 없이 memory-writing supervision을 복원함.
5초 훈련 윈도우만으로도 수분 길이의 비디오를 외삽할 수 있음.
VBench 평가에서 60초, 240초에서 Self Forcing 대비 주체 일관성, 배경/레이아웃 일관성, 시간적 안정성에서 유의미한 개선을 보임.

핵심 아이디어

기존 Self Forcing는 모델이 자체 생성된 히스토리를 기반으로 훈련함으로써 exposure bias를 줄이지만, 히스토리 키-값 캐시는 future frame에서 고정된 상태로만 사용되어, 미래 손실이 과거 생성된 키-값의 작성 과정을 학습할 수 없게 된다. 이는 historical context-gradient gap으로 정의되며, 이는 DiT 파라미터가 다른 timestep에서 업데이트되면서 clean-timestep의 K/V 작성 경로가 드리프트하게 되는 원인이다. SGF는 이 문제를 해결하기 위해 2단계 훈련 전략을 제안한다. 첫 번째 pass는 no-gradient autoregressive rollout을 수행하며, denoising exit step에서 self-generated context와 noisy latents를 기록한다. 두 번째 pass는 이 exit step을 병렬로 재계산하여, future-to-context causal attention을 통해 clean-timestep K/V 표현을 학습한다. 이 방식은 full rollout backpropagation 없이도 memory-writing supervision을 복원할 수 있다.

기술적 접근법

**SGF의 2단계 훈련 전략**:
**Pass 1**: no-gradient autoregressive rollout을 수행하며, denoising exit step에서 self-generated context와 noisy latents를 기록.
**Pass 2**: exit step을 병렬로 재계산하며, generated context는 stop-gradient clean-latent input으로 사용, future-to-context causal attention을 통해 K/V 표현을 재계산.
**모델 구조**: Causal DiT(Transformer)를 사용하며, clean-timestep에서 K/V 캐시를 작성.
**초기화 방법**: consistency-distillation (CD), ODE initialization 등 사용.
**데이터셋**: VBench를 기준으로 평가하며, frame-wise와 chunk-wise 생성 실험 수행.
**훈련 윈도우**: 5초, 60초, 240초의 다양한 시간 범위에서 실험.

주요 결과

**VBench 평가**:
5초: SGF는 Self Forcing과 유사한 성능.
60초, 240초: SGF는 Self Forcing 대비 주체 일관성, 배경/레이아웃 일관성, 시간적 안정성에서 유의미한 개선.
**외삽 능력**: 5초 훈련 윈도우만으로도 수분 길이의 비디오를 외삽.
**정성적 평가**: 인간 선호도 평가에서 SGF가 더 높은 점수를 받음.

의의 및 한계

SGF는 자동 회귀 비디오 생성에서 핵심적인 historical context-gradient gap 문제를 해결하며, future-to-context causal attention을 통해 clean-timestep K/V 표현을 학습함으로써 장시간 비디오 외삽의 일관성을 향상시킨다. 이는 기존 Self Forcing와는 독립적으로 적용 가능한 훈련 전략으로, 다양한 초기화 방법과 결합할 수 있다. 그러나 SGF는 복잡한 그래프 재계산을 요구하므로, 대규모 모델이나 긴 시퀀스에서는 계산 비용이 증가할 수 있다. 또한, denoising exit step의 선택이 최종 성능에 영향을 줄 수 있으므로, 이에 대한 추가 연구가 필요하다.

실용적 활용

SGF는 장시간 비디오 생성이 필요한 산업 분야, 예를 들어 콘텐츠 제작, VR/AR, 자율주행 시뮬레이션 등에서 활용될 수 있다. 특히, 초기 훈련 데이터가 제한적일 때, 5초 훈련 윈도우만으로도 수분 길이의 비디오를 생성할 수 있어, 데이터 효율적인 비디오 생성 기술 개발에 기여할 수 있다.