CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer

We present CogVideoX, a large-scale text-to-video generation model based on diffusion transformer, which can generate 10-second continuous videos aligned with text prompt, with a frame rate of 16 fps and resolution of 768 * 1360 pixels. Previous video generation models often had limited movement and short durations, and is difficult to generate videos with coherent narratives based on text. We propose several designs to address these issues. First, we propose a 3D Variational Autoencoder (VAE) to compress videos along both spatial and temporal dimensions, to improve both compression rate and video fidelity. Second, to improve the text-video alignment, we propose an expert transformer with the expert adaptive LayerNorm to facilitate the deep fusion between the two modalities. Third, by employing a progressive training and multi-resolution frame pack technique, CogVideoX is adept at producing coherent, long-duration, different shape videos characterized by significant motions. In addition, we develop an effective text-video data processing pipeline that includes various data preprocessing strategies and a video captioning method, greatly contributing to the generation quality and semantic alignment. Results show that CogVideoX demonstrates state-of-the-art performance across both multiple machine metrics and human evaluations. The model weight of both 3D Causal VAE, Video caption model and CogVideoX are publicly available at https://github.com/THUDM/CogVideo.

한 줄 요약

CogVideoX는 16fps, 768×1360 해상도로 10초 길이의 텍스트-비디오를 생성하는 확장형 디퓨전 트랜스포머 모델이다.

핵심 기여도

3D Variational Autoencoder(VAE)를 제안하여 공간과 시간 차원에서 비디오 압축률과 품질을 동시에 향상.
텍스트-비디오 일치도를 높이기 위해 expert adaptive LayerNorm을 적용한 expert transformer 도입.
프로그레시브 훈련과 다중 해상도 프레임 패킹 기법을 통해 긴 시간 동안 일관된 동작을 가진 비디오 생성 가능.
텍스트-비디오 데이터 처리 파이프라인 개발로 생성 품질과 의미 일치도 향상.

핵심 아이디어

기존 비디오 생성 모델은 짧은 시간 동안의 제한된 움직임만 생성할 수 있었으며, 텍스트 기반의 일관된 스토리텔링을 구현하기 어려웠다. CogVideoX는 이 문제를 해결하기 위해 3D VAE를 도입하여 비디오의 공간과 시간 차원을 동시에 압축하고, expert transformer를 통해 텍스트와 비디오의 깊은 융합을 가능하게 했다. 특히 expert adaptive LayerNorm은 텍스트와 비디오의 모달 간 상호작용을 유연하게 조절하여 일치도를 높이는 데 기여했다.

기술적 접근법

**3D VAE**: 비디오를 공간과 시간 차원에서 동시에 압축하여 효율적인 표현을 달성.
**Expert Transformer**: expert adaptive LayerNorm을 사용한 트랜스포머 구조로 텍스트-비디오 일치도 향상.
**프로그레시브 훈련 & 다중 해상도 프레임 패킹**: 다양한 해상도와 형태의 긴 비디오 생성 가능.
**데이터 처리 파이프라인**: 다양한 전처리 전략과 비디오 캡션 생성 기법 포함.

주요 결과

CogVideoX는 16fps, 768×1360 해상도로 10초 길이의 비디오를 생성.
기존 모델 대비 움직임의 일관성과 텍스트-비디오 일치도가 향상됨.
다양한 기계 평가 지표와 인간 평가에서 state-of-the-art 성능 달성.

의의 및 한계

CogVideoX는 텍스트 기반의 긴 시간 동안 일관된 움직임을 가진 비디오 생성을 가능하게 하여, 텍스트-비디오 생성 분야의 기술적 한계를 확장한다. 그러나 초고해상도 또는 초장시간 비디오 생성에 대한 구체적 평가는 명시되지 않았으며, 모델의 대규모 파라미터 수량이나 추론 속도는 언급되지 않았다.

실용적 활용

CogVideoX는 콘텐츠 제작, 광고, 영화 분야에서 텍스트 기반의 비디오 자동 생성에 활용될 수 있으며, 연구적으로는 멀티모달 생성 모델의 기초로 사용될 수 있다.