MIGC: Multi-Instance Generation Controller for Text-to-Image Synthesis

We present a Multi-Instance Generation (MIG) task, si-multaneously generating multiple instances with diverse controls in one image. Given a set of predefined coordinates and their corresponding descriptions, the task is to ensure that generated instances are accurately at the designated locations and that all instances' attributes adhere to their corresponding description. This broadens the scope of current research on Single-instance generation, elevating it to a more versatile and practical dimension. Inspired by the idea of divide and conquer, we introduce an innovative approach named Multi-Instance Generation Controller (MIGC) to address the challenges of the MIG task. Ini-tially, we break down the MIG task into several subtasks, each involving the shading of a single instance. To ensure precise shading for each instance, we introduce an instance enhancement attention mechanism. Lastly, we aggregate all the shaded instances to provide the necessary information for accurately generating multiple instances in stable diffusion (SD). To evaluate how well generation models per-form on the MIG task, we provide a COCO-MIG bench-mark along with an evaluation pipeline. Extensive experiments were conducted on the proposed COCO-MIG bench-mark, as well as on various commonly used benchmarks. The evaluation results illustrate the exceptional control ca-pabilities of our model in terms of quantity, position, at-tribute, and interaction. Code and demos will be released at https://migcproject.github.io/.

한 줄 요약

MIGC는 텍스트-이미지 생성에서 다중 인스턴스를 정확한 위치와 속성에 따라 생성하는 MIGC 모듈을 제안하며, COCO-MIG 벤치마크에서 인스턴스 성공률을 32.39%에서 58.43%로 향상시킨다.

핵심 기여도

MIGC 모듈을 도입하여 Stable Diffusion을 기반으로 다중 인스턴스 생성(MIG) 문제를 해결.
Instance Enhancement Attention Layer, Layout Attention Layer, Shading Aggregation Controller로 MIG를 세 단계로 분할하여 처리.
COCO-MIG 벤치마크를 제안하고, 인스턴스 성공률을 32.39% → 58.43%로 향상.
DrawBench에서 속성 성공률을 48.20% → 97.50%로 개선.

핵심 아이디어

기존 텍스트-이미지 생성 연구는 단일 인스턴스에 집중했으나, MIGC는 다중 인스턴스를 동시에 생성하는 MIG 문제를 정의하고 이를 해결한다. MIG는 인스턴스의 수량, 위치, 속성, 상호작용을 동시에 제어해야 하며, Stable Diffusion의 Cross-Attention이 위치 제어를 실패한다는 한계를 극복하기 위해 Divide and Conquer 전략을 도입했다. MIGC는 MIG를 세 단계로 분할: (1) Divide: 인스턴스별 샤딩 서브태스크로 분할, (2) Conquer: Enhancement Attention Layer로 샤딩 결과 강화, (3) Combine: Layout Attention Layer와 Shading Aggregation Controller로 최종 이미지 생성. 이는 기존 단일 인스턴스 생성 능력을 활용하면서도 다중 인스턴스 제어를 가능하게 한다.

기술적 접근법

**MIGC 모듈 구조**: Enhancement Attention Layer, Layout Attention Layer, Shading Aggregation Controller로 구성.
**Enhancement Attention Layer**: 샤딩 결과를 강화하여 각 인스턴스의 정확한 표현을 보장.
**Shading Aggregation Controller (SAC)**: 샤딩 인스턴스와 배경 정보를 결합, SAC는 초기 단계에서는 Enhancement Layer의 샤딩 인스턴스에, 후기 단계에서는 Layout Layer의 템플릿에 더 많은 가중치를 부여.
**Inhibition Loss**: 인스턴스 병합을 방지하는 손실 함수로, COCO-Position에서 AP 성능을 향상시키며, 손실 가중치 0.1로 설정.
**COCO-MIG 벤치마크**: COCO 데이터셋 기반, 위치, 속성, 수량을 동시에 제어해야 하는 평가 기준.

주요 결과

**COCO-MIG**: 인스턴스 성공률 32.39% → 58.43% (MIGC 적용 시).
**COCO**: AP 40.68/68.26/42.85 → 54.69/84.17/61.71.
**DrawBench**: 속성 성공률 48.20% → 97.50%.
**추론 속도**: MIGC는 원본 Stable Diffusion과 유사한 속도 유지.

의의 및 한계

MIGC는 텍스트-이미지 생성에서 다중 인스턴스 제어를 가능하게 하며, 기존 단일 인스턴스 생성 모델의 한계를 극복한 점에서 학술적·실용적 가치가 있다. 특히, Enhancement Attention Layer와 Shading Aggregation Controller는 샤딩 인스턴스의 정확성과 조화를 동시에 보장한다. 그러나 MIGC는 인스턴스 간 상호작용 제어는 아직 충분히 해결되지 않았으며, 추후 연구 주제로 제시된다. 또한, 속성 제어는 색상 기반 평가에 제한되며, 더 복잡한 속성(예: 자세, 시각적 관계)은 아직 다루지 못한다.

실용적 활용

MIGC는 광고 이미지 생성, 캐릭터 디자인, 3D 씬 구성 등 인스턴스별 정확한 제어가 필요한 산업 분야에 적용 가능하다. 특히, COCO-MIG 벤치마크를 통해 모델 성능을 정량적으로 평가할 수 있어, 연구 및 개발 과정에서 모델 최적화에 유용하다.