fine-tuning video-diffusion distribution-shift text-to-video stable-diffusion low-quality-videos webvid-10m high-quality-video
Abstract
Text-to-video generation aims to produce a video based on a given prompt. Recently, several commercial video models have been able to generate plausible videos with mini-mal noise, excellent details, and high aesthetic scores. However, these models rely on large-scale, well-filtered, high-quality videos that are not accessible to the community. Many existing research works, which train models using the low-quality WebVid-10M dataset, struggle to generate high-quality videos because the models are optimized to fit WebVid-10M. In this work, we explore the training scheme of video models extended from Stable Diffusion and investigate the feasibility of leveraging low-quality videos and synthesized high-quality images to obtain a high-quality video model. We first analyze the connection between the spatial and temporal modules of video models and the distribution shift to low-quality videos. We observe that full training of all modules results in a stronger coupling between spatial and temporal modules than only training temporal modules. Based on this stronger coupling, we shift the distribution to higher quality without motion degradation by finetuning spatial modules with high-quality images, resulting in a generic high-quality video model. Evaluations are conducted to demonstrate the superiority of the proposed method, particularly in picture quality, motion, and concept composition.
한국어 요약
한 줄 요약
VideoCrafter2는 저품질 데이터를 활용해 고품질 비디오 생성 모델을 학습하는 새로운 훈련 전략을 제안한다.
핵심 기여도
- Spatial 및 temporal 모듈의 전체 훈련이 모듈 간 강한 결합을 유도함을 관찰.
- 저품질 WebVid-10M 데이터셋을 기반으로 학습한 모델에 고품질 이미지로 spatial 모듈만 fine-tuning.
- Motion quality 저하 없이 고해상도 비디오 생성 가능.
- 비디오 생성 모델의 품질 향상을 위해 학습 전략의 재설계를 제안.
핵심 아이디어
기존 연구는 WebVid-10M과 같은 저품질 데이터셋으로 학습한 모델이 고품질 비디오 생성에 한계가 있음을 지적한다. 본 연구는 Stable Diffusion 기반 비디오 모델의 훈련 전략을 분석하고, spatial과 temporal 모듈 간의 강한 결합을 활용해 품질 향상을 도모한다. 저품질 데이터에서 학습한 모델에 고품질 이미지를 통해 spatial 모듈만 fine-tuning함으로써, motion quality가 저하되지 않으면서도 비디오 품질을 향상시킬 수 있음을 보인다. 이는 기존 훈련 방식과는 다른 접근법으로, 데이터 품질과 모델 훈련 전략 간의 관계를 재조명한다.
기술적 접근법
- 기존 Stable Diffusion 모델을 비디오 생성에 확장.
- WebVid-10M 데이터셋을 사용해 전체 모델 훈련.
- Spatial 및 temporal 모듈을 동시에 훈련하여 강한 결합 유도.
- 고품질 이미지로 spatial 모듈만 fine-tuning하여 품질 향상.
- 모듈별 훈련 전략을 비교하며 distribution shift 분석.
주요 결과
- 고품질 이미지를 사용한 spatial 모듈 fine-tuning으로 motion quality는 유지하면서도 비디오 품질이 향상됨.
- WebVid-10M 기반 모델 대비 picture quality, motion, concept composition에서 우수한 성능 보임.
- 명시적인 수치는 제공되지 않지만, 품질 향상이 평가 실험에서 입증됨.
의의 및 한계
VideoCrafter2는 저품질 데이터셋을 기반으로도 고품질 비디오 모델을 학습할 수 있는 새로운 훈련 전략을 제시하며, 비디오 생성 연구의 접근 방식을 확장한다. 특히, spatial-temporal 모듈 간의 관계를 명확히 분석하고 이를 훈련 전략에 적용한 점이 학술적 의의가 있다. 그러나 고품질 이미지에 대한 의존도가 높고, fine-tuning 과정에서의 최적화 전략은 명시되지 않았다.
실용적 활용
VideoCrafter2는 데이터 접근성이 제한된 연구 환경에서 고품질 비디오 생성 모델을 개발할 수 있는 실용적 접근법을 제공한다. 특히, 저예산 연구팀이나 비상업적 연구에서 유용하게 활용될 수 있다.