In-Flight KV Cache with Clean Anchors for Faster Autoregressive Video Diffusion

Few-step autoregressive video diffusion generates a long video by splitting the video into temporal chunks and generating chunk-by-chunk, each through a short sequence of denoising stages. To memorize chunks that are already generated, previous methods reconstruct a clean or less-noisy key--value (KV) cache by additional forwards to build the cache without advancing an output latent. However, every denoising forward itself already computes the in-flight KV of the current chunk. We introduce FlashForward, which directly reuses this cache to avoid the heavy cache-update-only model forwards. After the current chunk completes one denoising stage, its stage-specific cache is already available for the next chunk. Assigning one GPU to each stage therefore lets different chunks occupy different stages concurrently. This early availability has a quality cost: the resulting stage-matched history is noisy, causing appearance and motion drift among chunks. To complement it, FlashForward produces sparse auxiliary clean anchor latents before the corresponding region is generated so the generation trajectories can be stabilized by this two-sided conditioning. The two memories operate at different temporal scales: sparse clean anchor KV supplies coarse, long-range two-sided structural guidance, while dense stage-matched history preserves fine, recent evolution. With up to four GPUs, FlashForward runs 1.16--1.69times faster than HiAR and 1.42--2.92times faster than Self-Forcing for 16 FPS videos of 20 seconds or longer across 1.3B and 14B backbone scales at 480p and 720p. On VBench, for the 1.3B model at 480p, it achieves higher scores and remains stable at longer durations, demonstrating that FlashForward generates high-quality and temporally consistent videos across durations of 20s, 35s and 65s at a much faster generation speed.

한 줄 요약

FlashForward는 자동 회귀 비디오 생성에서 KV 캐시 재사용을 통해 1.42–2.92배 빠른 생성 속도를 달성한 방법이다.

핵심 기여도

**FlashForward**를 제안하여 기존 KV 캐시 업데이트를 위한 추가 모델 포워드를 제거함.
**In-flight KV cache**를 재사용함으로써 1.16–1.69배 빠르게 HiAR, 1.42–2.92배 빠르게 Self-Forcing보다 성능 향상.
**Clean anchor KV**를 사전에 생성하여 생성 품질을 안정화함.
1.3B 및 14B 모델 규모에서 480p 및 720p 영상에서 20초 이상의 긴 영상에서도 품질 유지.

핵심 아이디어

기존 자동 회귀 비디오 생성 방식은 각 청크 생성 후 추가 포워드를 통해 KV 캐시를 업데이트했으나, 이는 계산 부담이 컸다. FlashForward는 **denoising 단계에서 이미 생성된 in-flight KV cache**를 바로 재사용함으로써 추가 포워드를 생략한다. 이는 **stage-specific cache**를 다음 청크에 즉시 제공함으로써 **GPU 병렬 처리**를 가능하게 한다. 하지만 이 early availability는 노이즈가 있는 캐시를 사용하므로 외관 및 움직임의 불일치가 발생할 수 있다. 이를 보완하기 위해 **sparse clean anchor latents**를 사전에 생성하여 **two-sided conditioning**을 통해 생성 경로를 안정화한다. 두 메모리는 서로 다른 시간 스케일에서 작동: clean anchor KV는 **coarse, long-range 구조**를 제공하고, stage-matched history는 **fine, recent 변화**를 유지한다.

기술적 접근법

**In-flight KV cache reuse**: denoising 단계에서 생성된 KV 캐시를 바로 재사용.
**Clean anchor KV generation**: 사전에 생성된 anchor latents를 clean KV로 변환하여 조건부로 사용.
**Planner–Renderer 구조**: planner는 anchor latents를 생성하고, renderer는 anchor와 stage-matched history를 결합하여 비디오 생성.
**Role-specific LoRA adapters**: planner와 renderer 역할에 맞는 LoRA 어댑터를 사용해 시간적 의존성 학습.
**Packed supervised fine-tuning + self-rollout distillation**: 실제 비디오와 생성된 컨텍스트를 기반으로 학습.
**1.3B 및 14B 모델**, 480p 및 720p 영상, 최대 4개 GPU 사용.

주요 결과

480p, 1.3B 모델 기준, VBench에서 **0.838** 점수를 달성 (Self-Forcing: 0.805, HiAR: 0.821).
65초 긴 영상에서도 품질이 안정.
16 FPS, 20초 이상 영상 생성 시, 4 GPU 기준 **HiAR 대비 1.16–1.69×**, **Self-Forcing 대비 1.42–2.92×** 빠름.
**Clean anchor KV**와 **stage-matched history**의 병렬 처리로 빠른 생성 속도 유지.

의의 및 한계

FlashForward는 자동 회귀 비디오 생성에서 **캐시 관리 방식의 혁신**을 제시하며, **생성 속도와 품질의 균형**을 유지하는 데 성공했다. 특히, **in-flight KV cache**의 재사용과 **clean anchor KV**의 조합은 기존 방식의 계산 부담을 줄이면서도 품질을 보장한다. 그러나 **early availability**로 인한 노이즈 문제는 여전히 존재하며, 이는 **anchor 간격**이나 **조건 조절**을 통해 부분적으로 해결된다. 또한, **anchor 생성**이 추가적인 계산을 요구하므로, **anchor 밀도** 조절이 성능과 품질의 균형에 중요하다.

실용적 활용

FlashForward는 **실시간 또는 대규모 비디오 생성**이 필요한 산업, 예를 들어 **광고 제작**, **콘텐츠 생성 플랫폼**, **AI 영상 제작 도구** 등에 적용 가능하다. 특히, **고해상도 및 긴 길이의 비디오**를 빠르게 생성해야 하는 상황에서 유용하며, **다중 GPU 환경**에서의 병렬 처리를 통해 확장성이 높다.