DataEvolver: Self-Evolving Multi-Agent Data Construction for Text-Rich Image Generation

Text-rich image generation is one of the most challenging settings in image generation, since models must simultaneously produce visually realistic images and render legible, semantically aligned, and layout-consistent text. Existing data pipelines usually follow a static crawl-filter-freeze paradigm. They collect candidate samples, filter them once, and freeze the accepted data for training. However, rejected samples are usually discarded, although they often contain useful failure signals such as OCR errors and semantic mismatches. As a result, later construction rounds may repeat the same failure modes. To address these limitations, we propose DataEvolver, a self-evolving multi-agent framework for text-rich image data construction. DataEvolver treats data construction as feedback-driven construction policy evolution. A Retriever collects candidate samples, a Verifier assigns quality scores and rejection causes, a Critic summarizes round-level feedback into semantic feedback, and a Generator completes under-covered regions through targeted synthesis. The updated feedback memory then guides the next construction round. Experiments on text-rich image generation benchmarks show that DataEvolver produces more useful training data than fixed-dataset baselines under matched data budgets. At the 0.75M scale on PixArt-alpha, DataEvolver improves OCR-F1 over the strongest baseline by 85.3 percent on TextScenesHQ and 35.3 percent on LongTextBench. The improvements are consistent across both evaluated benchmarks and also transfer to Show-o2, indicating that the benefit of DataEvolver is not tied to a single downstream generator. These results suggest that rejected samples can provide actionable feedback for improving text-rich image data construction.

한 줄 요약

DataEvolver는 텍스트 풍부한 이미지 생성을 위한 자기 진화하는 다중 에이전트 데이터 구축 프레임워크로, 거부 샘플을 피드백으로 활용해 OCR-F1을 최대 85.3% 개선한다.

핵심 기여도

**DataEvolver** 프레임워크를 제안하여 텍스트 풍부한 이미지 데이터 구축을 피드백 기반 정책 진화로 재정의.
**Critic 모듈**이 거부 샘플을 의미 있는 피드백으로 요약하고, **Generator 모듈**이 미복蓋 영역을 대상적으로 합성.
**PixArt-α**에서 0.75M 규모로 **TextScenesHQ에서 OCR-F1 85.3%**, **LongTextBench에서 35.3%** 개선.
**Critic 제거 시 TextScenesHQ에서 OCR-F1 1.78 → 1.01**, **Generator 제거 시 1.78 → 1.40**으로 성능 저하.

핵심 아이디어

기존 텍스트 풍부한 이미지 데이터 구축 파이프라인은 정적 crawl–filter–freeze 방식을 따르며, 거부 샘플은 일반적으로 버려져 반복적인 실패 패턴이 발생한다. DataEvolver는 이 문제를 해결하기 위해 **자기 진화하는 다중 에이전트 시스템**을 도입한다.

**Retriever**는 후보 샘플을 수집하고, **Verifier**는 품질 점수와 거부 원인을 할당한다.
**Critic**은 거부 샘플을 의미 있는 자연어 피드백으로 요약하여, **Generator**는 이를 바탕으로 미복蓋 영역을 대상적으로 합성한다.
이 과정은 **피드백 메모리**를 업데이트하며 다음 구축 라운드로 이어진다.

이러한 방식은 단순히 샘플 수를 늘리는 것 이상으로, **데이터 구축 정책 자체를 진화**시키는 새로운 접근법이다. 특히, OCR-F1 같은 텍스트 렌더링 품질 지표에서 큰 개선이 발생하며, 이는 데이터 구축 과정에서 이미 향상된 샘플이 생성되고 있음을 시사한다.

기술적 접근법

**Retriever**: 후보 샘플을 수집.
**Verifier**: 샘플 품질 점수와 거부 원인을 할당.
**Critic**: 거부 샘플을 의미 있는 자연어 피드백으로 요약.
**Generator**: 미복蓋 영역을 대상적으로 합성.
**Feedback Memory**: 각 라운드의 피드백을 저장하고 다음 라운드에 활용.
**OCR-F1**을 주요 평가 지표로 사용하며, **CLIP Score**와 **FID**도 보조 지표로 사용.
**PixArt-α** 모델을 사용한 실험에서 **0.75M 샘플**로 평가.

주요 결과

**TextScenesHQ**에서 OCR-F1 85.3% 개선 (PixArt-α, 0.75M).
**LongTextBench**에서 OCR-F1 35.3% 개선 (PixArt-α, 0.75M).
**Critic 제거 시 TextScenesHQ에서 OCR-F1 1.78 → 1.01**, **LongTextBench에서 2.16 → 0.90**.
**Generator 제거 시 TextScenesHQ에서 OCR-F1 1.78 → 1.40**, **LongTextBench에서 2.16 → 1.37**.
**Critic 사용 시 OCR 신뢰도 평균 0.861 → 0.938**, 0.90 이상 샘플 비율 29.1% → 81.1% 증가.

의의 및 한계

DataEvolver는 텍스트 풍부한 이미지 생성에서 **데이터 구축 과정 자체를 적응형 시스템으로 전환**함으로써, 기존 정적 파이프라인의 한계를 극복한다. 특히, **거부 샘플을 단순히 버리는 것이 아니라 의미 있는 피드백으로 활용**함으로써, 텍스트 렌더링 품질을 크게 향상시킨다.

하지만, 이 연구는 **정규화된 스케일링 법칙 분석이 부족**하며, **Verifier의 신뢰성**에 따라 결과가 달라질 수 있다. 또한, 현재는 텍스트 풍부한 이미지 생성에만 적용되었으며, **다중 모달 영역으로 확장 가능성**은 여전히 개선 과제이다.

실용적 활용

DataEvolver는 텍스트가 중요한 이미지 생성 분야, 예를 들어 **광고 이미지, UI 디자인, 문서 이미지 생성** 등에서 유용하게 활용될 수 있다. 특히, **OCR 정확도가 중요한 애플리케이션**에서 훈련 데이터 품질을 향상시키는 데 기여할 수 있다. 또한, **데이터 구축 비용을 최소화하면서도 품질을 유지**하는 방식으로, 대규모 텍스트-이미지 데이터셋 구축에 적합하다.