StoryDiffusion: Consistent Self-Attention for Long-Range Image and Video Generation

For recent diffusion-based generative models, maintaining consistent content across a series of generated images, especially those containing subjects and complex details, presents a significant challenge. In this paper, we propose a new way of self-attention calculation, termed Consistent Self-Attention, that significantly boosts the consistency between the generated images and augments prevalent pretrained diffusion-based text-to-image models in a zero-shot manner. To extend our method to long-range video generation, we further introduce a novel semantic space temporal motion prediction module, named Semantic Motion Predictor. It is trained to estimate the motion conditions between two provided images in the semantic spaces. This module converts the generated sequence of images into videos with smooth transitions and consistent subjects that are significantly more stable than the modules based on latent spaces only, especially in the context of long video generation. By merging these two novel components, our framework, referred to as StoryDiffusion, can describe a text-based story with consistent images or videos encompassing a rich variety of contents. The proposed StoryDiffusion encompasses pioneering explorations in visual story generation with the presentation of images and videos, which we hope could inspire more research from the aspect of architectural modifications. Our code is made publicly available at https://github.com/HVision-NKU/StoryDiffusion.

한 줄 요약

StoryDiffusion은 일관된 자기주의 계산과 의미 공간 기반 동작 예측을 통해 장거리 이미지 및 동영상 생성을 가능하게 한다.

핵심 기여도

Consistent Self-Attention이라는 새로운 자기주의 계산 방식을 제안하여 생성 이미지 간 일관성을 크게 향상시킴.
Semantic Motion Predictor라는 의미 공간 기반 동작 예측 모듈을 도입하여 장거리 동영상 생성 시 부드러운 전환과 주체 일관성을 달성함.
기존 텍스트-이미지 생성 모델을 zero-shot 방식으로 확장 가능하게 함.
StoryDiffusion 프레임워크를 통해 텍스트 기반 스토리텔링을 이미지 및 동영상으로 표현 가능하게 함.

핵심 아이디어

기존의 확산 기반 생성 모델은 복잡한 주체와 세부 정보를 포함한 연속 이미지 생성 시 일관성을 유지하기 어렵다. 이를 해결하기 위해, StoryDiffusion은 Consistent Self-Attention을 도입하여 이미지 간의 의미적 연관성을 강화한다. 이는 기존의 자기주의 메커니즘과 달리, 생성 과정에서의 일관성을 보장하는 새로운 계산 방식이다. 또한, 장거리 동영상 생성을 위해 Semantic Motion Predictor를 제안하여, 의미 공간에서의 동작 조건을 추정함으로써, 단순히 잠재 공간만을 기반으로 한 모듈보다 훨씬 안정적인 동작 전이를 가능하게 한다.

기술적 접근법

**Consistent Self-Attention**: 생성 이미지 간의 일관성을 향상시키기 위한 새로운 자기주의 계산 방식.
**Semantic Motion Predictor**: 의미 공간에서 두 이미지 간의 동작 조건을 추정하는 모듈.
**Zero-shot 방식**: 기존 텍스트-이미지 생성 모델을 그대로 사용하며, 추가 학습 없이 확장 가능.
**StoryDiffusion 프레임워크**: 위 두 모듈을 결합하여 텍스트 기반 스토리텔링을 이미지 및 동영상으로 생성.

주요 결과

Semantic Motion Predictor를 사용한 동영상 생성 시, 잠재 공간 기반 모듈 대비 주체 일관성과 전이 부드러움이 크게 향상됨.
텍스트 기반 스토리텔링 생성에서 생성 이미지 및 동영상의 일관성과 다양성이 증가됨.
기존 확산 모델을 zero-shot 방식으로 확장하여, 추가 학습 없이도 성능 향상 가능함.

의의 및 한계

StoryDiffusion은 텍스트 기반 이미지 및 동영상 생성에서 일관성과 다양성을 동시에 달성하는 새로운 접근법을 제시한다. 특히, Semantic Motion Predictor는 장거리 동영상 생성에서의 주체 일관성을 향상시키는 데 기여하며, 기존 모델의 제한된 표현력을 보완한다. 그러나, 의미 공간의 복잡성과 계산 비용 증가 가능성은 실제 적용 시 고려해야 할 한계점이다. 또한, 다양한 데이터셋에서의 일반화 능력은 추가 실험을 통해 검증되어야 한다.

실용적 활용

StoryDiffusion은 영화 제작, 게임 콘텐츠 생성, 디지털 마케팅 등에서 텍스트 기반 시각적 스토리텔링을 자동화하는 데 활용될 수 있다. 또한, 생성형 AI 기반 콘텐츠 제작 플랫폼에 적용하여 사용자 텍스트 입력을 기반으로 일관된 이미지 및 동영상 시퀀스를 생성하는 데 유용할 수 있다.