Flex-Forcing: Towards a Unified Autoregressive and Bidirectional Video Diffusion Model

Recent progress in large-scale generative models has substantially advanced video generation, yet existing methods remain constrained by a rigid inference paradigm. Bidirectional diffusion models excel at global coherence and visual fidelity but suffer from slow inference, while autoregressive models offer efficient and streaming generation at the cost of long-range consistency and exposure bias. We introduce Flex-Forcing, a unified training and inference framework that enables a video diffusion model to seamlessly operate under both bidirectional and autoregressive generation regimes. The core idea is a flexible chunking mechanism jointly defined over the temporal axis and denoising steps. This design allows the model to (1) perform flexible chunking according to different device budgets, (2) perform bidirectional inference across chunks for global structure planning, while generating frames autoregressively within each chunk for efficient and fine-grained synthesis, and (3) perform any-order, any-timestep autoregressive generation without the strict causal constraint. Extensive experiments on multiple video generation benchmarks demonstrate that Flex-Forcing achieves consistently better video quality, long-video stability than strong baselines with a rigid inference schedule, while offering faster inference.

한 줄 요약

Flex-Forcing은 단일 모델 내에서 자동회귀와 양방향 비디오 생성을 통합하는 유연한 추론 프레임워크이다.

핵심 기여도

**Flex-Forcing**이라는 통합 프레임워크를 제안하여, 단일 모델이 양방향 및 자동회귀 추론을 유연히 수행할 수 있도록 함.
**Flexible Chunking**이라는 시간 축과 디노이징 단계 축을 기반으로 한 유연한 청크 분할 메커니즘을 도입.
**Aligned Conditioning** 메커니즘을 통해 자동회귀와 비자동회귀 조건 간의 노이즈 수준 차이를 해결.
**Any-order, any-step autoregressive editing** 기능을 제공하여 편집 유연성 향상.

핵심 아이디어

기존 비디오 생성 모델은 양방향 추론(전체 프레임을 고려하여 생성)과 자동회귀 추론(프레임을 순차적으로 생성)이 상호 배타적이라는 한계를 가졌다. Flex-Forcing은 이 두 추론 패러다임을 단일 모델 내에서 통합할 수 있도록 설계되었다. 핵심 아이디어는 **Flexible Chunking**으로, 시간 축과 디노이징 단계 축을 기반으로 청크를 유연하게 분할하여, 청크 간에는 양방향 추론을, 청크 내부에서는 자동회귀 추론을 수행하도록 한다. 이는 장기적인 일관성과 효율성을 동시에 달성할 수 있게 한다. 또한, **Aligned Conditioning**은 자동회귀와 비자동회귀 조건 간의 노이즈 수준 차이를 해결하여 모델의 표현 일관성을 유지한다.

기술적 접근법

**Flexible Chunking**: 시간 축과 디노이징 단계 축을 기반으로 청크를 정의.
**Train–test consistent objective**: 학습과 추론 단계에서 동일한 조건을 유지하여 모델의 일관성을 보장.
**Aligned Conditioning**: 자동회귀와 비자동회귀 조건 간의 노이즈 수준 차이를 해결.
**K-projection**: 청크 크기가 커질수록 성능 저하를 방지하며, 특히 완전히 양방향 추론에 가까운 경우 성능 향상 효과가 큼.
**Any-order, any-step autoregressive editing**: 사용자가 원하는 순서와 단계에서 편집 가능하도록 유연한 편집 기능 제공.

주요 결과

Flex-Forcing은 **Self-Forcing** 대비 **단기 및 장기 비디오 생성 모두에서 향상된 성능**을 보임.
**K-projection**을 사용하면 청크 크기 증가에 따른 성능 저하가 감소하며, 특히 완전히 양방향 추론에 가까운 경우 **성능 향상 폭이 커짐**.
**Flex-Forcing**은 **단일 모델 내에서 양방향 및 자동회귀 추론을 유연히 수행**하면서도, **추론 속도가 빠르고 장기 비디오 생성 안정성이 높음**.

의의 및 한계

Flex-Forcing은 비디오 생성 분야에서 **자동회귀와 양방향 추론의 장점을 통합**하여, **질과 효율성의 균형을 맞추는 새로운 접근법**을 제시한다. 특히, **K-projection**과 **Flexible Chunking**을 통해 모델의 유연성과 안정성을 동시에 향상시켰다는 점에서 학술적 의의가 크다. 그러나, **모든 청크 크기와 추론 설정에 대해 최적화된 성능을 보장하지는 않으며**, 특정 장치 환경에 따라 최적의 청크 설정이 필요할 수 있다.

실용적 활용

Flex-Forcing은 **실시간 비디오 스트리밍**, **장기 비디오 생성**, **사용자 맞춤형 편집** 등 다양한 산업 및 연구 분야에서 활용 가능하다. 특히, **KV 캐싱과 결합된 자동회귀 추론**은 **저비용 장기 생성**을 가능하게 하며, **any-order, any-step 편집** 기능은 **크리에이티브 인텔리전스 시스템** 개발에 유용하다.