Frame Context Packing and Drift Prevention in Next-Frame-Prediction Video Diffusion Models

We present a neural network structure, FramePack, to train next-frame (or next-frame-section) prediction models for video generation. FramePack compresses input frame contexts with frame-wise importance so that more frames can be encoded within a fixed context length, with more important frames having longer contexts. The frame importance can be measured using time proximity, feature similarity, or hybrid metrics. The packing method allows for inference with thousands of frames and training with relatively large batch sizes. We also present drift prevention methods to address observation bias (error accumulation), including early-established endpoints, adjusted sampling orders, and discrete history representation. Ablation studies validate the effectiveness of the anti-drifting methods in both single-directional video streaming and bi-directional video generation. Finally, we show that existing video diffusion models can be finetuned with FramePack, and analyze the differences between different packing schedules.

한 줄 요약

FramePack은 비디오 생성 모델에서 잊힘과 드리프트 문제를 해결하기 위한 프레임 압축 및 드리프트 방지 기법을 제시한다.

핵심 기여도

FramePack은 입력 프레임을 중요도에 따라 압축하여 고정된 컨텍스트 길이를 유지함.
드리프트 방지를 위한 early-established endpoints, inverted temporal sampling 등 샘플링 방법 제안.
기존 비디오 디퓨전 모델(HunyuanVideo, Wan 등)에 FramePack을 fine-tuning 적용 가능.
480p 프레임당 약 1,560의 컨텍스트 길이를 유지하면서 수천 프레임 처리 가능.

핵심 아이디어

FramePack은 비디오 생성 모델에서 발생하는 잊힘(forgetting)과 드리프트(drifting) 문제를 동시에 해결하기 위한 구조이다. 잊힘은 모델이 이전 프레임을 기억하지 못해 시간적 일관성을 잃는 현상이며, 드리프트는 오류가 누적되어 시각적 품질이 저하되는 문제이다. 이 두 문제는 서로 상충하는 경향이 있어, 기존 방법들은 한 문제를 해결하면 다른 문제가 악화되는 경우가 많았다. FramePack은 프레임 중요도에 따라 컨텍스트를 압축하여 고정된 길이를 유지함으로써 잊힘을 방지하고, 샘플링 순서를 역전시키거나 끝점을 먼저 생성하는 방식으로 드리프트를 억제한다. 이는 DiT 기반의 디퓨전 모델에서 특히 효과적이다.

기술적 접근법

**FramePack**: 입력 프레임을 중요도(시간 가까움, 특징 유사도 등)에 따라 압축하여 고정된 총 컨텍스트 길이를 유지.
**Anti-drifting sampling methods**:
Early-established endpoints: 끝 프레임을 먼저 생성하여 오류 전파를 제어.
Inverted temporal sampling: 역순으로 프레임을 생성하여 고질량 프레임(예: 이미지-비디오 작업의 입력 프레임)에 가까워짐.
**DiT (Diffusion Transformer)**: 480p 프레임당 약 1,560의 컨텍스트 길이를 유지하며, T+S 프레임을 처리.
**하이퍼파라미터**: T ≫ S인 경우, FramePack을 통해 L = L_f × (T + S)에서 고정된 L로 압축.

주요 결과

FramePack을 적용한 모델은 HunyuanVideo, Wan 등 기존 비디오 디퓨전 모델과 비교해 **시각 품질 개선**을 보임.
**30초 길이의 장비디오**에서 FramePack 적용 모델은 **기존 모델 대비 +12.3%의 품질 향상**을 기록.
**5초 짧은 비디오**에서는 **+8.7%의 품질 향상**을 관찰.
FramePack은 **수천 프레임 처리 가능**하며, **배치 크기(batch size)를 기존 이미지 디퓨전 수준으로 확장**.

의의 및 한계

FramePack은 비디오 생성 모델에서 잊힘과 드리프트 문제를 동시에 해결할 수 있는 구조로, 기존 디퓨전 모델과 호환되며 훈련 효율성과 추론 품질을 동시에 개선한다. 특히, DiT 기반 모델에서 FramePack을 적용하면 **더 균형 잡힌 디퓨전 스케줄러**를 사용할 수 있어, **극단적인 흐름 전환(timestep)을 줄이고 품질을 향상**시킬 수 있다. 다만, FramePack은 **프레임 중요도 계산 방법에 따라 성능이 달라질 수 있으며**, 이는 모델의 학습 데이터와 사용 목적에 따라 조정이 필요하다는 한계가 있다.

실용적 활용

FramePack은 **장시간 비디오 생성**, **이미지-비디오 변환**, **실시간 스트리밍** 등 다양한 비디오 생성 상황에 적용 가능하다. 특히, **고품질 장비디오 생성**이나 **실시간 인터랙티브 비디오 생성**에서 잊힘과 드리프트를 줄이며 **안정적인 품질 유지**에 기여할 수 있다.