UltraEdit: Instruction-based Fine-Grained Image Editing at Scale

This paper presents UltraEdit, a large-scale (approximately 4 million editing samples), automatically generated dataset for instruction-based image editing. Our key idea is to address the drawbacks in existing image editing datasets like InstructPix2Pix and MagicBrush, and provide a systematic approach to producing massive and high-quality image editing samples. UltraEdit offers several distinct advantages: 1) It features a broader range of editing instructions by leveraging the creativity of large language models (LLMs) alongside in-context editing examples from human raters; 2) Its data sources are based on real images, including photographs and artworks, which provide greater diversity and reduced bias compared to datasets solely generated by text-to-image models; 3) It also supports region-based editing, enhanced by high-quality, automatically produced region annotations. Our experiments show that canonical diffusion-based editing baselines trained on UltraEdit set new records on MagicBrush and Emu-Edit benchmarks. Our analysis further confirms the crucial role of real image anchors and region-based editing data. The dataset, code, and models can be found in https://ultra-editing.github.io.

한 줄 요약

UltraEdit는 400만 개 이상의 자동 생성된 지시 기반 이미지 편집 샘플을 포함한 대규모 고질량 데이터셋으로, 기존 문제를 해결한 시스템적 생성 파이프라인을 제시한다.

핵심 기여도

기존 데이터셋의 문제(지시 다양성, 이미지 편향, 지역 기반 편집 누락)를 해결한 시스템적 자동 생성 파이프라인 제안.
LLM과 인간 레이터의 in-context 예시를 결합하여 75만 개 이상의 고유 지시 생성.
COCO 등 실제 이미지 데이터를 anchor로 사용해 편향 감소.
자동 생성된 지역 어노테이션을 활용한 지역 기반 편집 샘플 지원.

핵심 아이디어

UltraEdit은 기존 이미지 편집 데이터셋에서 발생하는 주요 문제를 해결하기 위해 시스템적 접근을 도입한 데이터셋이다. 기존 연구는 지시 다양성 부족, 텍스트-이미지 모델의 편향, 지역 기반 편집 데이터 누락 등의 문제를 겪고 있었다. UltraEdit은 대규모 편집 샘플을 자동 생성하면서도 인간 레이터의 in-context 예시와 LLM의 창의성을 결합하여 지시 다양성을 확보한다. 또한, 실제 이미지(COCO 등)를 anchor로 사용해 텍스트-이미지 모델의 편향을 줄이고, 자동 생성된 지역 어노테이션을 통해 지역 기반 편집을 지원한다. 이는 기존 편집 모델에서 높은 성능 향상으로 이어진다.

기술적 접근법

**LLM + in-context 예시**: 인간 레이터의 예시와 LLM을 결합하여 750,000개 이상의 고유 지시 생성.
**P2P 제어**: 텍스트-이미지 확산 모델(P2P)을 사용해 지시와 캡션으로부터 원본 및 편집 이미지 생성.
**실제 이미지 앵커**: COCO 등 실제 이미지 데이터를 anchor로 사용해 편향 감소.
**자동 지역 생성**: 지시 기반으로 지역 어노테이션 생성 후, 수정된 inpainting 확산 파이프라인을 통해 지역 기반 편집 샘플 생성.
**데이터셋 규모**: 약 400만 개의 샘플, 9개 이상의 편집 유형 포함.

주요 결과

**MagicBrush 벤치마크**: UltraEdit 기반 확산 기반 편집 기반 모델이 기존 최고 성능 기록.
**Emu-Edit 벤치마크**: UltraEdit 기반 모델이 기존 최고 성능 기록.
**실제 이미지 앵커의 효과**: 실제 이미지 앵커 사용 시 편향 감소와 편집 성능 향상 확인.
**지역 기반 편집 데이터의 효과**: 지역 어노테이션 사용 시 편집 성능 향상.

의의 및 한계

UltraEdit는 기존 이미지 편집 데이터셋의 주요 문제를 해결한 대규모 고질량 데이터셋으로, 지시 기반 편집 모델의 성능 향상에 기여한다. 특히, LLM과 인간 레이터의 협업을 통해 지시 다양성을 확보하고, 실제 이미지 앵커와 자동 지역 어노테이션을 통해 편향 감소 및 지역 기반 편집을 지원한다. 그러나, 데이터셋의 생성 과정에서 일부 예측 오류나 어노테이션 불일치가 발생할 수 있으며, 지역 기반 편집 데이터의 확장을 위한 추가 연구가 필요하다는 한계가 있다.

실용적 활용

UltraEdit는 지시 기반 이미지 편집 모델의 학습 및 평가에 활용될 수 있으며, 디지털 콘텐츠 제작, 그래픽 디자인, 인공지능 기반 이미지 편집 도구 개발 등 다양한 산업 분야에서 실용적 활용이 가능하다. 특히, 실제 이미지를 기반으로 편집을 수행하는 시스템 개발에 적합하다.