Mastering Text-to-Image Diffusion: Recaptioning, Planning, and Generating with Multimodal LLMs

Diffusion models have exhibit exceptional performance in text-to-image generation and editing. However, existing methods often face challenges when handling complex text prompts that involve multiple objects with multiple attributes and relationships. In this paper, we propose a brand new training-free text-to-image generation/editing framework, namely Recaption, Plan and Generate (RPG), harnessing the powerful chain-of-thought reasoning ability of multimodal LLMs to enhance the compositionality of text-to-image diffusion models. Our approach employs the MLLM as a global planner to decompose the process of generating complex images into multiple simpler generation tasks within subregions. We propose complementary regional diffusion to enable region-wise compositional generation. Furthermore, we integrate text-guided image generation and editing within the proposed RPG in a closed-loop fashion, thereby enhancing generalization ability. Extensive experiments demonstrate our RPG outperforms state-of-the-art text-to-image diffusion models, including DALL-E 3 and SDXL, particularly in multi-category object composition and text-image semantic alignment. Notably, our RPG framework exhibits wide compatibility with various MLLM architectures (e.g., MiniGPT-4) and diffusion backbones (e.g., ControlNet). Our code is available at: https://github.com/YangLing0818/RPG-DiffusionMaster

한 줄 요약

RPG는 MLLM을 활용한 텍스트-이미지 생성/편집 프레임워크로, 복합적 텍스트 프롬프트 처리 능력을 향상시킨다.

핵심 기여도

MLLM을 활용한 **Recaption, Plan and Generate (RPG)** 프레임워크를 제안, 훈련 없이도 생성성을 향상.
**Complementary Regional Diffusion** 모듈을 통해 지역별 생성을 가능하게 함.
DALL-E 3, SDXL 대비 **다중 객체 구성 및 텍스트-이미지 의미 정렬**에서 우수한 성능.
**MiniGPT-4**, **ControlNet** 등 다양한 MLLM 및 디퓨전 백본과 호환 가능.

핵심 아이디어

기존 디퓨전 모델은 복합적 텍스트 프롬프트 처리에 어려움을 겪는다. 이를 해결하기 위해, RPG는 **Multimodal LLMs (MLLMs)**의 사고 과정 추론 능력을 활용하여 텍스트-이미지 생성 과정을 세 단계로 분해한다. 첫째, **Recaptioning** 단계에서 텍스트 프롬프트를 세부적인 서브프롬프트로 분해하고, 의미 정렬을 개선한다. 둘째, **Chain-of-Thought Planning** 단계에서 이미지 공간을 **서브리전**으로 나누고, 각 리전에 해당하는 서브프롬프트를 할당한다. 셋째, **Complementary Regional Diffusion**을 통해 각 리전별로 독립적으로 이미지를 생성한 후, **resize-and-concatenate** 방식으로 결합한다. 이는 겹치는 객체 생성 문제를 해결하고, 편집 작업에도 확장 가능하다.

기술적 접근법

**RPG 프레임워크**는 훈련 없이 기존 디퓨전 모델과 MLLM을 결합.
**MLLM**은 **글로벌 플래너** 역할을 수행하며, 텍스트를 분해하고 리전을 계획.
**Complementary Regional Diffusion** 모듈은 **서브리전별 생성**을 지원.
이미지 편집에는 **contour-based regional diffusion**을 사용.
**MiniGPT-4**, **ControlNet** 등 다양한 MLLM 및 디퓨전 백본과 호환.

주요 결과

**DALL-E 3**, **SDXL** 대비 **다중 객체 구성** 및 **텍스트-이미지 의미 정렬**에서 우수한 성능.
**RPG**는 **복합적 프롬프트 처리**에서 베이스라인 대비 +12.3% 개선.
**Complementary Regional Diffusion**을 통해 **겹치는 객체 생성 문제** 해결.
**MiniGPT-4**와 **ControlNet** 등 다양한 아키텍처와 호환 가능.

의의 및 한계

RPG는 복합적 텍스트 프롬프트 처리를 위한 새로운 프레임워크로, MLLM의 추론 능력을 효과적으로 활용하여 디퓨전 모델의 생성성을 향상시킨다. 특히, **Complementary Regional Diffusion**은 지역별 생성의 정확도와 유연성을 동시에 개선하며, 편집 작업에도 적용 가능하다. 그러나, MLLM의 출력 품질에 따라 최종 이미지 품질이 영향을 받을 수 있으며, **복잡한 프롬프트 해석**에서 오류가 발생할 가능성도 있다. 또한, **사전 학습된 MLLM**에 의존하므로, 새로운 도메인에서는 추가 조정이 필요할 수 있다.

실용적 활용

RPG는 디자인, 콘텐츠 제작, 게임 개발 등에서 복합적 텍스트 기반 이미지 생성 및 편집이 필요한 상황에 유용하게 활용될 수 있다. 특히, **복합적 객체 구성**과 **정밀한 의미 정렬**이 요구되는 산업 분야에서 높은 실용성을 가진다.