ImgEdit: A Unified Image Editing Dataset and Benchmark

Recent advancements in generative models have enabled high-fidelity text-to-image generation. However, open-source image-editing models still lag behind their proprietary counterparts, primarily due to limited high-quality data and insufficient benchmarks. To overcome these limitations, we introduce ImgEdit, a large-scale, high-quality image-editing dataset comprising 1.2 million carefully curated edit pairs, which contain both novel and complex single-turn edits, as well as challenging multi-turn tasks. To ensure the data quality, we employ a multi-stage pipeline that integrates a cutting-edge vision-language model, a detection model, a segmentation model, alongside task-specific in-painting procedures and strict post-processing. ImgEdit surpasses existing datasets in both task novelty and data quality. Using ImgEdit, we train ImgEdit-E1, an editing model using Vision Language Model to process the reference image and editing prompt, which outperforms existing open-source models on multiple tasks, highlighting the value of ImgEdit and model design. For comprehensive evaluation, we introduce ImgEdit-Bench, a benchmark designed to evaluate image editing performance in terms of instruction adherence, editing quality, and detail preservation. It includes a basic testsuite, a challenging single-turn suite, and a dedicated multi-turn suite. We evaluate both open-source and proprietary models, as well as ImgEdit-E1, providing deep analysis and actionable insights into the current behavior of image-editing models. The source data are publicly available on https://github.com/PKU-YuanGroup/ImgEdit.

한 줄 요약

ImgEdit은 120만 개의 편집 쌍을 포함한 고질량 이미지 편집 데이터셋과 평가 벤치마크를 제시하여 오픈소스 모델 성능을 향상시킨다.

핵심 기여도

ImgEdit 데이터셋: 1.2백만 개의 편집 쌍, 10개 편집 작업, 11만 개의 멀티턴 샘플 포함.
ImgEdit-E1 모델: Vision Language Model 기반 편집 모델로, 기존 오픈소스 모델 대비 성능 향상.
ImgEdit-Bench: 지침 준수, 편집 품질, 세부 유지 3차원 평가 프레임워크.
ImgEdit-Judge: 인간 판단과 유사한 평가 모델을 통해 대규모 평가 가능.

핵심 아이디어

기존 오픈소스 이미지 편집 모델은 데이터 품질 부족과 평가 기준 미비로 상용 모델에 뒤처져 있었다. 이를 해결하기 위해, 연구팀은 GPT-4o, 객체 탐지 모델, 세그멘테이션 모델을 결합한 다단계 파이프라인을 통해 고질량 데이터셋 ImgEdit을 구축했다. 이 데이터셋은 단일 턴 편집과 멀티턴 상호작용을 모두 포함하며, 특히 ID 일관성 유지, 다중 객체 조작, 버전 추적 등 복잡한 작업을 지원한다. 또한, Vision Language Model 기반의 ImgEdit-E1 모델을 제안하여, 기존 UNet 기반 모델 대비 편집 성능을 향상시켰다.

기술적 접근법

**데이터셋 생성**: GPT-4o, 객체 탐지 모델, 세그멘테이션 모델, 인페인팅 절차, 엄격한 포스트-프로세싱을 통한 다단계 파이프라인.
**ImgEdit-E1**: Vision Language Model을 텍스트 인코더로 사용, Diffusion Transformer를 백본으로 구성.
**ImgEdit-Bench**: 지침 준수, 편집 품질, 세부 유지 3차원 평가.
**ImgEdit-Judge**: GPT-4o와 유사한 판단 기준을 가진 평가 모델.
**실험 환경**: 1024×1024 해상도에서 평가, 3회 반복 실험 후 평균 점수 산출.

주요 결과

**ImgEdit-E1 성능**: Step1X-Edit, Ultra-Edit, AnySD 등 기존 오픈소스 모델 대비 편집 품질, 세부 유지, 지침 준수 점수에서 우수한 성과.
**ImgEdit-Bench 평가**: GPT-4o-Image, Gemini-2.0-Flash 등 상용 모델과 비교, ImgEdit-E1이 오픈소스 중 최고 성능.
**FakeShield 평가**: 생성 이미지의 가짜 수준 측정에서 높은 정확도를 보여, 시각적 사실성 증명.

의의 및 한계

ImgEdit은 오픈소스 이미지 편집 모델 개발에 필요한 고질량 데이터와 평가 기준을 제공하며, 편집 작업의 복잡성과 다양성을 확장하는 데 기여한다. 특히, 멀티턴 편집, ID 일관성 유지, 다중 객체 조작 등 실용적 요구사항을 반영한 데이터셋 구축은 기존 연구의 한계를 극복한다. 그러나, 일부 상용 모델(Gemini-2.0-Flash)은 API 접근 제한으로 평가에 포함되지 못했으며, 데이터셋의 범용성 확장을 위한 추가 연구가 필요하다.

실용적 활용

ImgEdit은 디자인, 콘텐츠 제작, 가상 시도(Virtual Try-on) 등 실제 산업에서 이미지 편집을 요구하는 다양한 분야에 적용 가능하다. 또한, 오픈소스 연구자들이 고급 편집 모델을 개발하고 평가할 수 있는 기반을 제공하여, 이미지 생성 기술의 민주화에 기여할 수 있다.