StreamingT2V: Consistent, Dynamic, and Extendable Long Video Generation from Text

Text-to-video diffusion models enable the generation of high-quality videos that follow text instructions, simplifying the process of producing diverse and individual content. Current methods excel in generating short videos (up to 16s), but produce hard-cuts when naively extended to long video synthesis. To overcome these limitations, we present StreamingT2V, an autoregressive method that generates long videos of up to 2 minutes or longer with seamless transitions. The key components are: (i) a short-term memory block called conditional attention module (CAM), which conditions the current generation on the features extracted from the preceding chunk via an attentional mechanism, leading to consistent chunk transitions, (ii) a longterm memory block called appearance preservation module (APM), which extracts high-level scene and object features from the first video chunk to prevent the model from forgetting the initial scene, and (iii) a randomized blending approach that allows for the autoregressive application of a video enhancer on videos of indefinite length, ensuring consistency across chunks. Experiments show that StreamingT2V produces more motion, while competing methods suffer from video stagnation when applied naively in an autoregressive fashion. Thus, we propose with StreamingT2V a high-quality seamless text-to-long video generator, surpassing competitors in both consistency and motion.

한 줄 요약

StreamingT2V는 CAM과 APM을 통해 2분 이상의 일관성 있는 장시간 동영상 생성을 가능하게 하는 텍스트-투-비디오 확산 모델이다.

핵심 기여도

CAM(Conditional Attention Module)을 도입하여 이전 채움의 정보를 활용해 채움 간 자연스러운 전환을 보장.
APM(Appearance Preservation Module)을 통해 장기 의존성을 유지하며 장면과 객체의 일관성을 확보.
랜덤 블렌딩(randomized blending)을 통해 고해상도 비디오 향상 모델을 자동 회귀적 방식으로 적용 가능.
240~1200프레임(2~10분)의 장시간 동영상 생성에서 경쟁 모델 대비 더 많은 움직임과 일관성을 보여.

핵심 아이디어

기존 텍스트-투-비디오 모델은 16~384프레임의 짧은 동영상 생성에 효과적이지만, 이를 자동 회귀적으로 확장하면 채움 간 경계에서 일관성 문제가 발생한다. StreamingT2V는 이 문제를 해결하기 위해 CAM과 APM이라는 두 가지 메모리 블록을 도입한다. CAM은 이전 8프레임의 정보를 주의 메커니즘을 통해 활용하여 채움 간 전환을 자연스럽게 만든다. APM은 첫 번째 채움에서 추출한 장면과 객체의 고수준 특성을 유지함으로써 전체 생성 과정에서 일관성을 보장한다. 또한, 랜덤 블렌딩 기법을 통해 고해상도 향상 모델을 자동 회귀적 방식으로 적용하여 채움 간 일관성을 유지한다.

기술적 접근법

**CAM**: 이전 8프레임의 정보를 주의 메커니즘을 통해 현재 채움 생성에 조건화.
**APM**: 첫 번째 채움의 고수준 장면/객체 특성을 추출해 전체 생성 과정에 유지.
**랜덤 블렌딩**: 24프레임 채움을 8프레임 겹침으로 처리하며, SDEdit 기반 향상 모델을 자동 회귀적 방식으로 적용.
**생성 단계**: 256×256 해상도로 240~1200프레임 생성 후, 720×720 해상도로 향상.
**기반 모델**: Modelscope 및 MS-Vid2Vid-XL 사용.

주요 결과

**240~1200프레임(2~10분) 생성 성공**: 경쟁 모델 대비 더 많은 움직임과 일관성을 보여.
**CAM 도입 시**: 채움 간 전환 일관성 향상.
**APM 도입 시**: 장기 의존성 유지로 장면/객체 일관성 향상.
**랜덤 블렌딩 적용 시**: 고해상도 향상 모델을 자동 회귀적 방식으로 적용 가능.
**비교 실험**: 경쟁 모델(예: SEINE, SVD) 대비 장시간 생성 시 품질 저하 없이 일관성 유지.

의의 및 한계

StreamingT2V는 텍스트 기반 장시간 동영상 생성에서 일관성과 움직임을 동시에 달성한 첫 번째 모델로, 기존 자동 회귀적 접근법의 한계를 극복한다. CAM과 APM을 통해 장단기 의존성을 효과적으로 처리하며, 랜덤 블렌딩을 통해 향상 모델을 자동 회귀적 방식으로 적용할 수 있어 실용적이다. 그러나 모델은 256×256 해상도에서 생성 후 720×720으로 향상하는 방식을 따르므로, 초고해상도 생성에는 추가 연구가 필요하다. 또한, 모델은 텍스트 조건에만 의존하므로, 복잡한 시각적 조건을 반영하는 데에는 한계가 있을 수 있다.

실용적 활용

StreamingT2V는 광고 제작, 스토리텔링, 콘텐츠 제작 등에서 장시간 동영상 생성에 활용 가능하다. 특히, 자동 회귀적 방식으로 생성하면서도 일관성을 유지할 수 있어, 사용자 맞춤형 동영상 생성 플랫폼에 적합하다. 또한, 랜덤 블렌딩 기법은 다른 텍스트-투-비디오 모델(예: OpenSora)에도 적용 가능하며, 모델의 일반화 가능성을 높인다.