History-Guided Video Diffusion

Classifier-free guidance (CFG) is a key technique for improving conditional generation in diffusion models, enabling more accurate control while enhancing sample quality. It is natural to extend this technique to video diffusion, which generates video conditioned on a variable number of context frames, collectively referred to as history. However, we find two key challenges to guiding with variable-length history: architectures that only support fixed-size conditioning, and the empirical observation that CFG-style history dropout performs poorly. To address this, we propose the Diffusion Forcing Transformer (DFoT), a video diffusion architecture and theoretically grounded training objective that jointly enable conditioning on a flexible number of history frames. We then introduce History Guidance, a family of guidance methods uniquely enabled by DFoT. We show that its simplest form, vanilla history guidance, already significantly improves video generation quality and temporal consistency. A more advanced method, history guidance across time and frequency further enhances motion dynamics, enables compositional generalization to out-of-distribution history, and can stably roll out extremely long videos. Project website: https://boyuan.space/history-guidance

한 줄 요약

History-Guided Video Diffusion은 다양한 길이의 과거 프레임을 조건으로 활용하여 비디오 생성 품질과 일관성을 향상시키는 새로운 디퓨전 모델 접근법이다.

핵심 기여도

**Diffusion Forcing Transformer (DFoT)**: 기존 디퓨전 모델 아키텍처를 확장하여, 임의 길이의 과거 프레임(history)에 조건을 주는 기능을 구현.
**History Guidance (HG)**: DFoT 기반으로 설계된 새로운 가이드 방식으로, Vanilla HG, Temporal HG, Frequency HG 등 다양한 형태를 제안.
**862프레임 긴 비디오 생성**: 기존 학습 세트의 최대 길이를 훨씬 초과하는 긴 비디오 생성 가능.
**이론적 근거**: 변분 하한(Variational Lower Bound)을 통해 학습 목적 함수의 이론적 타당성 증명.

핵심 아이디어

기존 디퓨전 모델에서 사용되는 Classifier-Free Guidance (CFG)는 조건부 생성 품질을 향상시키는 데 효과적이지만, 비디오 생성에서는 고정된 길이의 조건 프레임만 지원하는 한계가 있었다. 이에, **DFoT**는 각 프레임에 독립적인 노이즈 수준을 적용하는 방식으로, **임의 길이의 history 조건**을 가능하게 한다. 이는 "noising-as-masking" 패러다임을 비인과적 트랜스포머에 확장한 것이다.

DFoT를 기반으로 제안된 **History Guidance (HG)**는 기존 CFG를 확장한 개념으로, Vanilla HG는 단순히 history를 조건으로 사용하는 방식이며, HG-t는 시간적 윈도우를 결합하고, HG-f는 노이즈를 가한 history를 사용하여 "로우패스 필터" 효과를 내는 방식이다. HG-t와 HG-f를 결합한 **HG-tf**는 시간과 주파수 영역에서 동시에 가이드를 제공하며, 이는 **동적 비디오 생성**을 향상시킨다.

기술적 접근법

**DFoT 아키텍처**: 기존 DiT, U-ViT와 호환되며, 각 프레임에 독립적인 노이즈 수준을 적용.
**History Guidance 방법**:
**Vanilla HG**: 임의 길이의 history를 조건으로 사용.
**Temporal HG (HG-t)**: 여러 시간 윈도우의 점수를 결합.
**Fractional HG (HG-f)**: 노이즈가 적용된 history를 사용하여 특정 주파수 대역에 집중.
**Training Objective**: 변분 하한(Variational Lower Bound) 기반의 이론적 근거를 갖춤.
**Sampling 과정**: history의 일부를 노이즈로 마스킹하여 유연한 조건 적용 가능.

주요 결과

**862프레임 긴 비디오 생성**: 단일 이미지에서 생성, 기존 학습 세트 최대 길이를 훨씬 초과.
**비디오 품질 향상**: Vanilla HG만으로도 품질과 시간적 일관성 향상.
**HG-tf 활용 시**: 동적 생성 능력과 out-of-distribution history에 대한 일반화 능력 향상.
**기존 모델 대비 성능**: DiT 기반 모델 대비 품질 개선, 대규모 컴퓨팅 없이도 산업 모델 수준 성능 달성.

의의 및 한계

DFoT와 History Guidance는 비디오 생성 모델에서 **유연한 history 조건 적용**을 가능하게 하며, 특히 **긴 비디오 생성**과 **동적 움직임 표현**에서 혁신적인 성과를 보인다. 또한, 기존 CFG의 binary dropout 방식을 대체하여, **더 효율적인 학습**이 가능하다는 점에서 학술적 의의가 있다.

그러나, DFoT는 여전히 **대규모 데이터셋**이 필요하며, **실시간 생성 성능**이나 **하드웨어 효율성**에 대한 평가가 명시되지 않아, 실용적 적용 시 한계가 있을 수 있다.

실용적 활용

이 연구는 **로봇 네비게이션**, **VR/AR 콘텐츠 생성**, **영상 제작 자동화** 등에서 긴 비디오 생성이 필요한 분야에 적용 가능하다. 특히, **자율 주행 시뮬레이션**이나 **실시간 영상 생성**에서 유연한 history 기반의 생성 능력이 활용될 수 있다.