IntReal: A Real-World Dataset and Benchmark for Multimodal Interleaved Generation

Humans routinely consume multimodal content, where textual and visual information is naturally interleaved. Although Unified Multimodal Models (UMMs) can jointly generate text and images, multimodal interleaved generation remains largely underexplored. Progress in this area is hindered by two key limitations: (1) the lack of well-defined interleaved generation tasks and corresponding training data, and (2) the absence of fine-grained evaluation protocols that can reliably diagnose model performance across different capability dimensions. To this end, we present IntReal, comprising two complementary components: IntReal-100K, a real-world dataset of multimodal interleaved samples spanning four major categories, and the IntReal Evaluation Suite, which evaluates model performance across seven complementary dimensions using specialized expert models, enabling coarse-to-fine diagnosis. Extensive experiments validate our evaluation suite through low inter-metric redundancy (max pairwise absolute Spearman's ρleq 0.42 ), high agreement with human judgments (83.3% accuracy), and strong consistency across different expert evaluators (Spearman's ρ> 0.9 ), supporting the complementarity and reliability of our metrics. By benchmarking four families of UMMs, we show that IntReal Evaluation Suite reveals distinct strengths and weaknesses across models. Post-training experiments demonstrate the utility of IntReal-100K for improving interleaved generation and further show that training unimodal generation can also benefit interleaved generation. These findings suggest that interleaved generation can benefit from modality-specific optimization, rather than requiring joint text-image training at every stage.

한 줄 요약

IntReal은 실제 세계 멀티모달 인터리빙 생성을 위한 데이터셋과 평가 벤치마크로, 7차원 평가 시스템과 100K 개의 품질 높은 샘플을 제공한다.

핵심 기여도

IntReal-100K: 실제 세계 멀티모달 인터리빙 샘플 100K 개를 포함한 4개 범주로 구성된 데이터셋.
IntReal Evaluation Suite: 7차원 평가 시스템을 통해 세부 능력 차원에서 모델 성능을 분석.
평가 메트릭의 신뢰성: Spearman’s ρ ≤ 0.42의 낮은 상관도, 83.3%의 인간 판단 일치율, 0.9 이상의 평가자 간 일관성.
모델 학습 실험: Flow-GRPO를 통해 단일 모달 학습이 인터리빙 생성 성능을 향상시킴.

핵심 아이디어

기존 멀티모달 모델은 텍스트와 이미지를 결합 생성할 수 있지만, 인터리빙 생성은 여전히 연구 부족 상태이다. 이는 주로 두 가지 문제로 인해 진행이 어려웠다: (1) 명확한 인터리빙 생성 작업과 훈련 데이터 부족, (2) 다양한 능력 차원에서 모델 성능을 진단할 수 있는 세부 평가 프로토콜 부재. 이를 해결하기 위해 IntReal은 실제 세계 인터리빙 생성을 위한 데이터셋과 평가 시스템을 제시한다. IntReal-100K는 4개의 실제 시나리오 범주를 기반으로 텍스트-이미지 일관성, 품질 등을 고려한 필터링을 통해 구성되었으며, IntReal Evaluation Suite는 7개의 전문 평가 모델을 통한 세부 평가를 통해 모델의 강점과 약점을 분석한다. 특히, Flow-GRPO를 활용한 학습 실험은 단일 모달 최적화가 인터리빙 생성에 긍정적인 영향을 미친다는 점을 보여준다.

기술적 접근법

**IntReal-100K 데이터셋**: 100K 개의 실제 인터리빙 샘플로 구성, 4개 범주(예: 지식 전달, 이야기, 튜토리얼, 여행 가이드)로 분류.
**데이터 필터링**: 텍스트 품질(Qwen3.5-397B-A17B), 이미지 품질(RALI), 텍스트-이미지 일관성(SELV)을 기준으로 필터링.
**IntReal Evaluation Suite**: 7차원 평가 (예: 텍스트 일관성, 이미지 품질, 일관성 등)에 전문 평가 모델(예: IQA 모델) 통합.
**학습 실험**: 감독 미세 조정(SFT)과 Flow-GRPO를 통해 단일 모달 학습의 효과 검증.

주요 결과

IntReal Evaluation Suite는 7개 메트릭 간 최대 Spearman’s ρ ≤ 0.42로 낮은 상관도를 보이며, 83.3%의 인간 판단 일치율과 0.9 이상의 평가자 간 일관성을 달성.
감독 미세 조정(SFT)은 텍스트 생성을 개선하지만, 이미지 생성은 저하됨.
Flow-GRPO를 적용한 학습은 이미지 생성을 회복하며, 전체 점수에서 최고 성능을 보임.
Qwen3.6-35B-A3B 평가자와 Gemma4 평가자 간 점수 차이가 있지만, 모델 순위는 유지됨.

의의 및 한계

IntReal은 멀티모달 인터리빙 생성 분야에서 첫 번째로 실제 세계 데이터와 세부 평가 시스템을 결합한 연구로, 모델의 강점과 약점을 명확히 진단할 수 있는 기반을 제공한다. 특히, 단일 모달 최적화가 인터리빙 생성에 긍정적인 영향을 미친다는 점은 기존의 결합 학습 접근법을 확장할 수 있는 가능성을 제시한다. 그러나 고품질 데이터 생성을 위해 강력한 필터링이 필요해 샘플 유지율이 낮고, 단일 모달 데이터와 혼합 학습은 실험에서 제외되었다는 한계가 있다. 향후 연구에서는 합성 데이터 증강과 혼합 학습을 탐구할 필요가 있다.

실용적 활용

IntReal은 멀티모달 생성 모델의 개발 및 평가에 활용될 수 있으며, 특히 교육, 여행, 튜토리얼 등 텍스트-이미지가 혼합된 콘텐츠 생성에 적합하다. 또한, 모델의 특정 모달 최적화를 통해 인터리빙 생성 성능을 향상시키는 방식은 실제 산업에서의 모델 튜닝 전략으로 활용될 수 있다.