Pyramidal Flow Matching for Efficient Video Generative Modeling

Video generation requires modeling a vast spatiotemporal space, which demands significant computational resources and data usage. To reduce the complexity, the prevailing approaches employ a cascaded architecture to avoid direct training with full resolution latent. Despite reducing computational demands, the separate optimization of each sub-stage hinders knowledge sharing and sacrifices flexibility. This work introduces a unified pyramidal flow matching algorithm. It reinterprets the original denoising trajectory as a series of pyramid stages, where only the final stage operates at the full resolution, thereby enabling more efficient video generative modeling. Through our sophisticated design, the flows of different pyramid stages can be interlinked to maintain continuity. Moreover, we craft autoregressive video generation with a temporal pyramid to compress the full-resolution history. The entire framework can be optimized in an end-to-end manner and with a single unified Diffusion Transformer (DiT). Extensive experiments demonstrate that our method supports generating high-quality 5-second (up to 10-second) videos at 768p resolution and 24 FPS within 20.7k A100 GPU training hours. All code and models are open-sourced at https://pyramid-flow.github.io.

한 줄 요약

파이라미달 플로우 매칭을 통해 768p 24fps 10초 영상을 20.7k A100 GPU 시간 내 생성하는 효율적 비디오 생성 모델 제안.

핵심 기여도

파이라미달 플로우 매칭 알고리즘을 통해 공간적·시간적 피라미드를 통합한 단일 Diffusion Transformer(DiT) 기반 비디오 생성 프레임워크 제안.
공간 피라미드를 통해 토큰 수 119,040 → 15,360 감소 (10초, 241프레임 기준).
시간 피라미드를 도입하여 전체 해상도 히스토리의 계산 중복 최소화.
768p 24fps 10초 영상 생성 성능 달성 (20.7k A100 GPU 시간).

핵심 아이디어

기존 비디오 생성 모델은 고해상도 데이터를 다루기 위해 다단계 캐스케이드 구조를 사용하지만, 이는 단계별 최적화로 인해 지식 공유가 어려우며 유연성이 떨어진다. 본 연구는 이 문제를 해결하기 위해 생성 과정을 공간적·시간적 피라미드 단계로 재해석하여 단일 모델에서 통합 최적화할 수 있는 파이라미달 플로우 매칭 알고리즘을 제안한다. 공간 피라미드는 최종 단계만 고해상도에서 작동하도록 설계되어 초기 단계의 계산 부담을 줄이고, 시간 피라미드는 과거 프레임의 정보를 점진적으로 압축하여 토큰 수를 감소시킨다. 이는 단일 Diffusion Transformer(DiT)를 통해 끝에서 끝까지(end-to-end) 최적화가 가능하며, 별도의 슈퍼해상도 모델 없이도 생성과 해제압축을 동시에 수행할 수 있다.

기술적 접근법

**파이라미달 플로우 매칭 알고리즘**: 생성 경로를 여러 피라미드 단계로 분할하여 각 단계에서 압축된 표현을 기반으로 생성. 최종 단계만 고해상도에서 작동.
**단일 Diffusion Transformer(DiT)**: 모든 피라미드 단계를 통합하여 끝에서 끝까지 최적화.
**시간 피라미드**: 과거 프레임의 히스토리를 점진적으로 압축하여 토큰 수 감소.
**토큰 수 비교**: 10초, 241프레임 기준 119,040 → 15,360 토큰 감소.
**하이퍼파라미터**: 768p 해상도, 24fps, 10초 길이 영상 생성.

주요 결과

**VBench 및 EvalCrafter 평가**: 공개 데이터셋 기반 훈련 모델로서 매우 경쟁력 있는 성능.
**영상 생성 성능**: 768p 24fps 10초 영상 생성 가능.
**훈련 효율성**: 20.7k A100 GPU 시간 내 훈련 완료.
**토큰 수 감소**: 10초 영상 기준 119,040 → 15,360 토큰 (약 87% 감소).
**시각적 품질**: 공간 및 시간 피라미드를 사용한 모델이 기존 기법 대비 더 높은 시각적 일관성과 품질 보장.

의의 및 한계

**의의**: 단일 모델에서 공간 및 시간 피라미드를 통합한 끝에서 끝까지 최적화 가능한 비디오 생성 프레임워크 제시. 기존 캐스케이드 구조의 단점을 극복하며, 훈련 효율성과 생성 품질을 동시에 향상.
**한계**: 공개 데이터셋만을 사용했기 때문에, 대규모 프라이빗 데이터셋을 활용한 성능은 명시되지 않음. 또한, 10초 이상의 긴 영상 생성에 대한 실험 결과는 제시되지 않았음.

실용적 활용

**AI 콘텐츠 생성 플랫폼**: 768p 24fps 10초 영상 생성 기술은 영상 제작, 광고, 게임 등 다양한 산업에서 활용 가능.
**저자원 환경 훈련**: 토큰 수 감소로 인해 GPU 자원을 효율적으로 활용할 수 있어 클라우드 기반 생성 모델 개발에 유리.
**연구 분야**: 비디오 생성 모델의 효율성 향상 연구, 끝에서 끝까지 최적화된 모델 설계에 기여.