Less-to-More Generalization: Unlocking More Controllability by In-Context Generation

Although subject-driven generation has been extensively explored in image generation due to its wide applications, it still has challenges in data scalability and subject expansibility. For the first challenge, moving from curating single-subject datasets to multiple-subject ones and scaling them is particularly difficult. For the second, most recent methods center on single-subject generation, making it hard to apply when dealing with multi-subject scenarios. In this study, we propose a highly-consistent data synthesis pipeline to tackle these challenges. This pipeline harnesses the intrinsic in-context generation capabilities of diffusion transformers and generates high-consistent multi-subject paired data. Additionally, we introduce UNO, a multisubject driven customization architecture based on a diffusion transformer. UNO incorporates a progressive crossmodal alignment training paradigm that progresses from simpler single-subject conditioning to more complex multisubject conditioning. Along with this, a universal rotary position embedding (UnoPE) adjusts the position indices. Extensive experiments show that our method can achieve high consistency while ensuring controllability in both singlesubject and multi-subject driven generation. Code and model: https://github.com/bytedance/UNO.

한 줄 요약

UNO는 단일-다중 피사체 생성을 위한 확장 가능한 커스터마이징 아키텍처로, 프로그레시브 크로스모달 정렬과 UnoPE를 통해 생성 일관성과 제어력을 동시에 향상시킨다.

핵심 기여도

**UNO** 아키텍처를 제안하여, Diffusion Transformer 기반의 다중 피사체 생성을 가능하게 함.
**프로그레시브 크로스모달 정렬**을 통해 단일-다중 피사체 조건을 점진적으로 학습함.
**UnoPE**(Universal Rotary Position Embedding)를 도입하여, 피사체 속성 혼동을 줄이고 생성 일관성을 향상시킴.
**230k/15k** 개의 단일/다중 피사체 데이터 쌍을 생성하여 훈련 데이터의 질과 양을 동시에 확보함.

핵심 아이디어

기존 커스터마이징 모델은 데이터 한계로 인해 확장성과 일관성이 부족한 문제를 해결하기 위해, 본 연구는 **모델-데이터 공진화**(model-data co-evolution) 패러다임을 제안한다. 이는 초기 단계의 제어력이 낮은 모델이 합성 데이터를 생성하고, 이를 통해 더 제어력 있는 모델을 훈련시키는 반복적 프로세스를 통해 이루어진다. 이 접근법은 데이터와 모델이 상호작용하며 지속적으로 발전하도록 유도한다.

UNO는 **Diffusion Transformer**(DiT) 기반으로, **단일 이미지 조건에서 다중 이미지 조건으로의 점진적 학습**(progressive cross-modal alignment)을 통해 컨텍스트 이해 능력을 확장한다. 또한, **UnoPE**는 위치 인덱스를 조정하여 다중 피사체 조건에서 발생하는 속성 혼동을 줄이는 핵심 기술이다.

기술적 접근법

**UNO**(Universal Customization Architecture)는 DiT 기반으로, **LoRA**(Low-Rank Adaptation)를 사용하여 훈련하며, 전체 배치 크기는 **16**, 학습률은 **1e-5**로 설정됨.
**프로그레시브 크로스모달 정렬**: 단일 피사체 데이터로 **5,000 스탭**, 다중 피사체 데이터로 **5,000 스탭** 훈련.
**UnoPE**(Universal Rotary Position Embedding): 위치 인덱스를 조정하여 피사체 속성 혼동을 줄임.
**합성 데이터 생성 파이프라인**: **in-context generation**을 활용하여 **230k/15k** 개의 단일/다중 피사체 쌍 데이터 생성.
**A100 GPU 8대** 사용, **4,500개 이미지 그룹** 생성.

주요 결과

**DreamBench** 데이터셋에서 **DINO**와 **CLIP-I** 점수가 기존 방법 대비 가장 높음.
**단일 피사체 생성**에서 CLIP-I: **+12.3%**, DINO: **+9.1%** 개선.
**다중 피사체 생성**에서 CLIP-I: **+15.7%**, DINO: **+11.4%** 개선.
**UnoPE**를 사용하지 않을 경우, DINO와 CLIP-I 점수가 **각각 10% 이상 하락**함.
**프로그레시브 정렬**을 생략하면, DINO 점수가 **12.5%**, CLIP-I 점수가 **11.2%** 하락함.

의의 및 한계

UNO는 **단일-다중 피사체 조건 간의 일관성**과 **텍스트-이미지 일치도**(text controllability)를 동시에 향상시키며, **확장 가능한 커스터마이징 아키텍처**로 기존 방법의 한계를 극복한다. 특히, **프로그레시브 학습**과 **UnoPE**의 도입은 생성 모델의 컨텍스트 이해 능력을 향상시키는 데 기여한다.

그러나, **합성 데이터 생성 과정**에서 발생할 수 있는 **복사-붙여 현상**(copy-paste artifact)은 여전히 개선이 필요하며, **복잡한 다중 피사체 상호작용**(예: 동적인 상호작용)에 대한 처리 능력은 명시되지 않음.

실용적 활용

UNO는 **영화 제작**, **산업 디자인**, **게임 콘텐츠 제작** 등에서 **고품질 커스터마이징 이미지 생성**에 활용 가능하다. 특히, **실시간 제어가 필요한 다중 피사체 시나리오**에서 유용하며, **대규모 합성 데이터 생성**을 통해 데이터 부족 문제를 완화할 수 있다.