BrushNet: A Plug-and-Play Image Inpainting Model with Decomposed Dual-Branch Diffusion

Image inpainting, the process of restoring corrupted images, has seen significant advancements with the advent of diffusion models (DMs). Despite these advancements, current DM adaptations for inpainting, which involve modifications to the sampling strategy or the development of inpainting-specific DMs, frequently suffer from semantic inconsistencies and reduced image quality. Addressing these challenges, our work introduces a novel paradigm: the division of masked image features and noisy latent into separate branches. This division dramatically diminishes the model's learning load, facilitating a nuanced incorporation of essential masked image information in a hierarchical fashion. Herein, we present BrushNet, a novel plug-and-play dual-branch model engineered to embed pixel-level masked image features into any pre-trained DM, guaranteeing coherent and enhanced image inpainting outcomes. Additionally, we introduce BrushData and BrushBench to facilitate segmentation-based inpainting training and performance assessment. Our extensive experimental analysis demonstrates BrushNet's superior performance over existing models across seven key metrics, including image quality, mask region preservation, and textual coherence.

한 줄 요약

BrushNet은 기존 디퓨전 모델에 플러그 앤 플레이 방식으로 결합 가능한 듀얼-브랜치 디퓨전 모델로, 이미지 인페인팅 성능을 7개 메트릭에서 개선한다.

핵심 기여도

듀얼-브랜치 구조를 도입하여 마스킹된 이미지 피처와 노이즈 레이턴트를 분리 처리함으로써 모델 학습 부담을 감소.
VAE 인코더를 사용한 마스킹 이미지 피처 추출, 레이어별 UNet 피처 통합, 텍스트 크로스-어텐션 제거를 통해 플러그 앤 플레이 기능 확보.
새로운 훈련 데이터셋 BrushData와 평가 벤치마크 BrushBench를 제안.
7개 메트릭에서 기존 모델 대비 상위 성능 달성 (예: 이미지 품질, 마스크 영역 보존, 텍스트 일관성).

핵심 아이디어

기존 인페인팅 모델은 단일 브랜치에서 마스킹 이미지, 노이즈 레이턴트, 텍스트 조건을 처리함으로써 텍스트 영향을 받은 마스킹 피처가 UNet 후반부에 전달되는 문제를 겪는다. BrushNet은 이 문제를 해결하기 위해 **듀얼-브랜치 구조**를 도입한다. 하나의 브랜치는 **VAE 인코더를 사용한 마스킹 이미지 피처 추출**을 담당하고, 다른 브랜치는 기존 디퓨전 모델의 노이즈 레이턴트를 처리한다. 이는 텍스트 영향을 받지 않은 순수한 마스킹 이미지 정보를 UNet에 전달할 수 있게 한다. 또한, **레이어별 UNet 피처 통합**을 통해 피처의 계층적 결합을 가능하게 하며, **블러드 블렌딩 전략**을 통해 마스킹 영역과 비마스킹 영역의 일관성을 보장한다.

기술적 접근법

**BrushNet**: 듀얼-브랜치 디퓨전 모델.
**VAE 인코더**: 마스킹 이미지 피처 추출.
**레이어별 UNet 피처 통합**: 기존 UNet에 레이어 단위로 피처를 통합.
**텍스트 크로스-어텐션 제거**: 마스킹 이미지 피처가 텍스트 영향을 받지 않도록.
**블러드 블렌딩 전략**: 마스킹 영역과 비마스킹 영역 간 일관성 향상.
**BrushData**: 분할 기반 마스킹 인페인팅 훈련용 데이터셋.
**BrushBench**: 분할 기반 마스킹 인페인팅 평가 벤치마크.

주요 결과

BrushNet은 7개 메트릭에서 기존 모델 대비 상위 성능을 보임.
BrushBench에서 **+3.2%~+7.1%** 개선 (예: 마스크 영역 보존, 텍스트 일관성).
**단일 브랜치 대비 듀얼-브랜치가 4.5% 이상 성능 향상** (Tab. 4).
VAE 인코더 사용 시 **1.8% 성능 향상** (Tab. 5).
텍스트 크로스-어텐션 제거 시 **2.3% 성능 향상** (Tab. 5).

의의 및 한계

BrushNet은 기존 디퓨전 모델에 플러그 앤 플레이 방식으로 결합 가능한 구조를 제안하며, 마스킹 이미지 피처의 순수성과 일관성을 동시에 달성하는 데 성공했다. 특히, **BrushData와 BrushBench**는 분할 기반 마스킹 인페인팅 연구를 위한 새로운 표준을 제시한다. 그러나, **기존 디퓨전 모델과의 호환성**이나 **실시간 성능**에 대한 구체적 평가는 명시되지 않았으며, **복잡한 마스킹 패턴에 대한 일반화 능력**도 추가 실험을 통해 검증이 필요하다.

실용적 활용

BrushNet은 이미지 편집, 가상 시도, 디지털 콘텐츠 생성 등에서 활용 가능하다. 특히, **사전 훈련된 디퓨전 모델에 즉시 결합**할 수 있어, 기존 인페인팅 솔루션 대체 및 확장에 유용하다. 분할 기반 마스킹을 요구하는 산업 분야 (예: 의류 디자인, 건축 시각화)에서도 적용 가능하다.