Self Forcing: Bridging the Train-Test Gap in Autoregressive Video Diffusion

We introduce Self Forcing, a novel training paradigm for autoregressive video diffusion models. It addresses the longstanding issue of exposure bias, where models trained on ground-truth context must generate sequences conditioned on their own imperfect outputs during inference. Unlike prior methods that denoise future frames based on ground-truth context frames, Self Forcing conditions each frame's generation on previously self-generated outputs by performing autoregressive rollout with key-value (KV) caching during training. This strategy enables supervision through a holistic loss at the video level that directly evaluates the quality of the entire generated sequence, rather than relying solely on traditional frame-wise objectives. To ensure training efficiency, we employ a few-step diffusion model along with a stochastic gradient truncation strategy, effectively balancing computational cost and performance. We further introduce a rolling KV cache mechanism that enables efficient autoregressive video extrapolation. Extensive experiments demonstrate that our approach achieves real-time streaming video generation with sub-second latency on a single GPU, while matching or even surpassing the generation quality of significantly slower and non-causal diffusion models. Project website: http://self-forcing.github.io/

한 줄 요약

Self Forcing은 자동회귀 비디오 디퓨전 모델의 트레인-테스트 갭을 해소하는 새로운 훈련 패러다임으로, 실시간 스트리밍 생성을 가능하게 한다.

핵심 기여도

Self Forcing은 훈련 시 자기 생성된 프레임에 조건을 걸어 전체 비디오 시퀀스에 대한 손실을 적용함으로써 노출 편향을 해결한다.
훈련 효율성을 위해 few-step diffusion 모델과 stochastic gradient truncation 전략을 결합하여 성능과 계산 비용을 균형 있게 유지한다.
rolling KV cache 메커니즘을 도입하여 자동회귀 비디오 확장의 효율성을 높인다.
단일 H100 GPU에서 17 FPS, sub-second latency로 실시간 스트리밍 생성을 달성한다.

핵심 아이디어

기존 자동회귀 비디오 디퓨전 모델은 훈련 시 정답 프레임에 조건을 거는 Teacher Forcing이나 Diffusion Forcing을 사용하지만, 이는 추론 시 자기 생성된 오염된 프레임에 의존하는 노출 편향 문제를 야기한다. Self Forcing은 훈련 시에도 자기 생성된 프레임에 기반한 자동회귀 롤아웃을 수행하며, KV 캐싱을 통해 전체 비디오 시퀀스에 대한 손실을 계산함으로써 노출 편향을 근본적으로 해결한다. 이는 기존 방법이 개별 프레임 단위의 손실에 의존하는 것과 달리, 전체 시퀀스의 질을 직접 평가하는 새로운 접근법이다.

기술적 접근법

**Self Forcing 훈련**: 훈련 시 각 프레임 생성에 이전에 자기 생성된 프레임을 조건으로 사용하며, KV 캐싱을 통해 자동회귀 롤아웃을 수행한다.
**few-step diffusion 모델**: 훈련 효율성을 위해 4-step diffusion 모델을 사용하며, stochastic gradient truncation 전략을 통해 계산 비용과 성능을 균형 있게 유지한다.
**rolling KV cache**: 비디오 확장 시 KV 캐시를 재사용하여 효율성을 높이며, 16.1 FPS의 높은 처리 속도를 달성한다.
**DMD, SiD, GAN 손실**: Self Forcing은 다양한 분포 매칭 손실(DMD, SiD, GAN)과 호환되며, 특히 DMD를 사용한 경우 가장 뛰어난 성능을 보인다.
**Wan2.1-T2V-1.3B 모델**: 832×480 해상도, 16 FPS로 5초 비디오를 생성하며, 70k 개의 비디오 데이터셋을 사용하여 GAN 훈련 및 미세조정을 수행한다.

주요 결과

**VBench 점수**: chunk-wise Self Forcing 모델은 비교 모델 중 가장 높은 VBench 점수를 달성한다.
**실시간 성능**: 단일 H100 GPU에서 17.0 FPS, sub-second latency로 실시간 스트리밍 생성을 가능하게 한다.
**프레임 단위 모델**: 0.45초의 최저 latency를 기록하며, 지연에 민감한 애플리케이션에 적합하다.
**비교 대상 모델**: CausVid 대비 약 150배 빠른 latency를 보이며, 시각적 품질도 우수하다.
**에러 누적 방지**: CausVid와 달리 Self Forcing은 chunk-wise 및 frame-wise 설정 모두에서 일관된 성능을 유지한다.

의의 및 한계

Self Forcing은 자동회귀 비디오 생성에서의 노출 편향 문제를 근본적으로 해결하며, 실시간 스트리밍, 게임, 로봇 학습 등 지연이 중요한 애플리케이션에 기술적 가능성을 열어준다. 또한, DMD, SiD, GAN 등 다양한 손실 함수와 호환되는 유연한 훈련 프레임워크를 제시한다. 그러나 훈련 컨텍스트 길이를 벗어난 긴 비디오 생성 시 품질 저하가 발생할 수 있으며, 이는 향후 연구 주제로 남는다. 또한, 기존의 병렬 훈련 패러다임이 자동회귀 추론과의 분포 불일치를 야기한다는 한계를 드러내며, 병렬 사전 훈련 + 순차 사후 훈련의 새로운 패러다임을 제안한다.

실용적 활용

Self Forcing은 실시간 스트리밍, 게임 시뮬레이션, 로봇 학습 등 지연이 중요한 애플리케이션에 적용 가능하다. 특히, 단일 GPU에서 17 FPS의 처리 속도와 sub-second latency를 달성하여, 실시간 상호작용이 필요한 환경에서 즉각적인 활용이 가능하다.