InstanceControl: Controllable Complex Image Generation without Instance Labeling

Controllable image generation methods, such as ControlNet, have demonstrated a remarkable capacity to introduce visual conditions(e.g., depth maps) to guide image generation. However, these methods often struggle with complex multi-instance scenes, frequently leading to attribute confusion among instances. While recent approaches attempt to mitigate this via manual instance labeling, such requirements are labor-intensive. In this paper, we propose InstanceControl, a novel multi-instance controllable generation method that eliminates the need for instance labeling. We identify the primary bottleneck in existing methods as the inability to accurately associate instance descriptions with their corresponding regions within visual conditions. To address this, we leverage the Vision-Language Model (VLM) to establish instance-level correspondences between text prompts and visual conditions. Specifically, the VLM automatically parses instance descriptions from the text prompts and simultaneously predicts instance masks based on the visual conditions. Furthermore, since the predicted masks may contain noise, we introduce an adaptive mask refinement strategy that dynamically refines these instance masks during the generation process. Extensive experiments demonstrate that our approach outperforms state-of-the-art methods, achieving superior fidelity and precise instance-level control.

한 줄 요약

InstanceControl은 인스턴스 라벨링 없이도 복잡한 다중 인스턴스 이미지 생성을 가능하게 하는 새로운 제어 가능 이미지 생성 방법이다.

핵심 기여도

인스턴스 라벨링 없이 텍스트 프롬프트와 시각 조건 간 인스턴스 수준의 대응을 자동으로 설정하는 InstanceControl 프레임워크 제안.
Vision-Language Model(VLM)을 활용하여 인스턴스 설명을 텍스트에서 추출하고, 시각 조건 내 인스턴스 마스크를 예측함.
예측된 마스크의 노이즈를 줄이기 위해 Adaptive Mask Refinement Module(MRM) 도입.
다양한 시각 조건(Canny, Depth, HED)에서 기존 최고 성능 모델 대비 87.97% 평균 정확도 달성.

핵심 아이디어

기존 제어 가능 이미지 생성 방법(예: ControlNet)은 복잡한 다중 인스턴스 시나리오에서 인스턴스 간 속성 혼동을 일으키는 주요 문제를 해결하지 못한다. 이는 텍스트 프롬프트와 시각 조건 간 인스턴스 수준의 정확한 대응을 설정하지 못하기 때문이다. InstanceControl은 이 문제를 Vision-Language Model(VLM)을 활용하여 텍스트에서 인스턴스 설명을 자동으로 파싱하고, 시각 조건 내 인스턴스 마스크를 예측함으로써 해결한다. 특히, 사용자가 동일한 시각 조건에 대해 다양한 텍스트 프롬프트를 사용할 수 있는 상황을 고려하여, VLM을 맞춤형 데이터셋으로 미세 조정하여 더 강력한 인스턴스 수준의 대응을 가능하게 한다. 또한, 예측된 마스크가 노이즈를 포함할 수 있으므로, MRM을 도입하여 생성 과정 중 마스크를 동적으로 정제한다.

기술적 접근법

**VLM 기반 인스턴스 수준 대응**: 텍스트 프롬프트에서 인스턴스 설명을 추출하고, 시각 조건 내 인스턴스 마스크를 예측.
**Shared SEG Token (SST)**: 동일 인스턴스가 텍스트에서 여러 번 언급될 경우, 세마틱 일관성을 유지하기 위해 SST를 도입.
**Mask Refinement Module (MRM)**: 예측된 마스크와 주의력 정보, 신뢰도 점수, 이미지 잠재 특성을 결합하여 마스크를 정제.
**두 단계 프레임워크**:

1. 인스턴스 수준 텍스트-시각 조건 대응 설정.
2. 생성 과정에 인스턴스 수준 대응을 주입하여 정밀한 제어 가능 이미지 생성.

주요 결과

**Canny, Depth, HED 조건에서 평균 정확도 87.97%** (기존 FLUX ControlNet 대비 +10.19%).
**Shared SEG Token (SST) 도입 시**, 인스턴스 설명의 반복 언급에 대한 마스크 예측 오류 감소.
**Mask Refinement Module (MRM) 사용 시**, 기존 기반 마스크 대비 정확도 향상 (Table 5 참조).
**FLUX ControlNet 대비 87.97% vs. 77.78%**의 평균 정확도로, InstanceControl이 기존 최고 성능 모델을 상회함.

의의 및 한계

InstanceControl은 복잡한 다중 인스턴스 시나리오에서 인스턴스 라벨링 없이도 정밀한 제어를 가능하게 하므로, 제어 가능 이미지 생성 분야에서 중요한 발전을 의미한다. 특히, VLM을 활용한 자동 인스턴스 수준 대응은 기존 수작업 라벨링에 의존하는 방식을 대체할 수 있는 실용적 가치를 제공한다. 그러나, 사용자가 텍스트 프롬프트에서 모호하거나 불일치한 설명을 제공할 경우, VLM이 정확한 인스턴스 마스크를 예측하지 못할 수 있다. 또한, MRM은 예측된 마스크의 노이즈를 줄이지만, 모든 상황에서 완벽한 정제를 보장하지는 않는다.

실용적 활용

InstanceControl은 인스턴스 라벨링 없이도 정밀한 이미지 생성이 필요한 디자인, 게임 콘텐츠 제작, 인공 인지 시스템 개발 등 다양한 산업 분야에서 활용 가능하다. 특히, 복잡한 시각 조건(예: 깊이 맵, 에지 맵)을 기반으로 한 제어 가능 이미지 생성이 필요한 연구 및 개발 환경에서 유용하다.