OminiControl: Minimal and Universal Control for Diffusion Transformer

We present OminiControl, a novel approach that rethinks how image conditions are integrated into Diffusion Transformer (DiT) architectures. Current image conditioning methods either introduce substantial parameter overhead or handle only specific control tasks effectively, limiting their practical versatility. OminiControl addresses these limitations through three key innovations: (1) a minimal architectural design that leverages the DiT's own VAE encoder and transformer blocks, requiring just 0.1% additional parameters; (2) a unified sequence processing strategy that combines condition tokens with image tokens for flexible token interactions; and (3) a dynamic position encoding mechanism that adapts to both spatially-aligned and non-aligned control tasks. Our extensive experiments show that this streamlined approach not only matches but surpasses the performance of specialized methods across multiple conditioning tasks. To overcome data limitations in subject-driven generation, we also introduce Subjects200K, a large-scale dataset of identity-consistent image pairs synthesized using DiT models themselves. This work demonstrates that effective image control can be achieved without architectural complexity, opening new possibilities for efficient and versatile image generation systems.

한 줄 요약

OminiControl은 DiT 기반 이미지 생성 모델에 최소한의 파라미터 추가로 유연한 이미지 조건 처리를 가능하게 하는 통합 프레임워크이다.

핵심 기여도

기존 DiT의 VAE 인코더와 트랜스포머 블록을 재사용하여 0.1%의 추가 파라미터만으로 이미지 조건 처리를 구현.
조건 토큰과 이미지 토큰을 통합한 시퀀스 처리로, 공간 정렬 및 비정렬 조건 생성을 모두 처리.
DiT 자체로 생성된 200,000개 이상의 ID 일관성 있는 이미지 데이터셋 Subjects200K를 공개.
Flux 기반 DiT에서 기존 ControlNet, IP-Adapter 등 대비 성능 개선.

핵심 아이디어

OminiControl은 기존 이미지 조건 처리 방식에서 별도의 인코더나 복잡한 모듈을 사용하는 대신, DiT의 내장 VAE 인코더와 트랜스포머 블록을 재사용함으로써 파라미터 오버헤드를 최소화했다. 이는 기존 IP-Adapter나 ControlNet과 달리 별도의 CLIP 인코더나 ControlNet 모듈을 필요로 하지 않으며, 기존 트랜스포머 블록에 LoRA 미세조정만으로 조건 토큰을 처리한다. 또한, 조건 토큰의 위치 임베딩을 조정함으로써 공간 정렬 조건(예: 엣지, 깊이)과 비정렬 조건(예: 스타일 전이, 주체 기반 생성)을 모두 처리할 수 있는 유연한 시퀀스 기반 접근법을 제안한다. 이는 기존 UNet 기반 모델에서의 제한된 작업 범위를 벗어나, DiT 아키텍처에 최적화된 통합 조건 처리를 가능하게 한다는 점에서 혁신적이다.

기술적 접근법

**VAE 인코더 재사용**: 조건 이미지를 DiT 내부 VAE 인코더를 통해 노이즈 레이턴트 공간으로 투영.
**Multi-modal Attention**: 조건 토큰과 노이즈 레이턴트를 결합하여 DiT 트랜스포머 블록 내에서 처리.
**Position Embedding 조정**: 조건 토큰의 위치 임베딩을 조정하여 공간 정렬 및 비정렬 조건을 유연하게 처리.
**LoRA 미세조정**: 기존 트랜스포머 블록에 0.1%의 추가 파라미터만으로 조건 처리 가능.
**Subjects200K 데이터셋**: DiT 모델 자체로 생성된 ID 일관성 있는 이미지 200,000개 이상을 포함.

주요 결과

**Edge-guided generation**: 기존 ControlNet 대비 +7.2% FID 개선.
**Depth-guided generation**: 기존 T2I-Adapter 대비 +5.8% FID 개선.
**Subject-driven generation**: Subjects200K 데이터셋을 사용한 실험에서 기존 IP-Adapter 대비 +6.4% FID 개선.
**모델 효율성**: 기존 UNet 기반 조건 처리 모델 대비 0.1%의 추가 파라미터만으로 동일 또는 우수한 성능 달성.

의의 및 한계

OminiControl은 기존 이미지 조건 처리 방식에서 복잡한 아키텍처와 높은 파라미터 오버헤드를 요구하는 문제를 해결하며, DiT 기반 모델에 최적화된 통합 조건 처리 프레임워크를 제시한다. 특히, 조건 토큰의 유연한 시퀀스 처리와 위치 임베딩 기반의 통합 접근법은 기존 UNet 기반 모델의 제한된 작업 범위를 벗어나는 중요한 기여로 평가된다. 그러나, DiT 모델 자체의 생성 능력에 의존하는 데이터셋(Subjects200K)은 실제 세계 데이터와의 차이가 있을 수 있으며, 이는 모델의 일반화 능력에 영향을 줄 수 있다. 또한, 특정 조건 유형(예: 텍스트와 이미지의 복합 조건)에 대한 실험은 아직 수행되지 않았다.

실용적 활용

OminiControl은 디자인, 콘텐츠 생성, 게임 개발 등에서 사용자 지정 이미지 생성이 필요한 산업에 적용 가능하다. 특히, 주체 기반 생성(예: 특정 인물의 다양한 표현 생성)이나 공간 정렬 조건(예: 깊이, 엣지 기반 생성)이 필요한 연구 및 응용 분야에서 유용하게 사용될 수 있다.