SciIR: A Large-scale Training Dataset and Benchmark for Scientific Image Reasoning Generation

While Text-to-Image (T2I) models have shown remarkable success in generating photorealistic visual content, they still struggle with the rigorous semantic alignment and logical reasoning required for scientific imagery. Inspired by Peirce's Semiotic Triad, we introduce Scientific Image Reasoning (SciIR), a comprehensive resource for training and evaluation of scientific image generation. We formalize scientific reasoning into three core dimensions: Entity Structure (Icon), Scientific Process (Index), and Scientific Law (Symbol). Specifically, to overcome the scarcity of training data in scientific image generation, we elaborately create SciIR-82k, a large-scale dataset containing over 80,000 high-quality scientific image-text pairs from cutting-edge publications. The dataset is hierarchically organized according to the semiotic dimensions and incorporates a Scientific Reasoning Chain-of-Thought (Sci-RCoT) to explicitly model underlying visual logic. For evaluation, we propose SciIR-Bench, which aligns with these three semiotic levels and employs an Atomic Checklist to convert the outcome-oriented scientific accuracy into process-oriented, verifiable, fine-grained questions. Our extensive experiments reveal significant deficiencies in current models' scientific reasoning capabilities. Furthermore, by fine-tuning on the SciIR-82k dataset, we developed the Qwen-Image-SciIR model, which achieves a substantial improvement on the SciIR-Bench, increasing the final score from 35\% to 43\%, laying a solid foundation for future advances in scientific image generation.

한 줄 요약

SciIR은 과학적 이미지 생성을 위한 대규모 데이터셋과 벤치마크로, Qwen-Image-SciIR 모델을 통해 SciIR-Bench 점수를 35%에서 43%로 향상시켰다.

핵심 기여도

SciIR-82k: 80,000개 이상의 과학 이미지-텍스트 쌍을 포함한 대규모 데이터셋.
Sci-RCoT: 시각적 논리 경로를 명시적으로 정의한 추론 체인-오브-사고(Chain-of-Thought) 어노테이션.
SciIR-Bench: 과학적 정확성을 세 가지 세미오틱 차원(Icon, Index, Symbol)으로 분류한 첫 번째 벤치마크.
Qwen-Image-SciIR: SciIR-82k로 미세조정한 모델로 SciIR-Bench 점수를 35% → 43%로 향상.

핵심 아이디어

기존 Text-to-Image(T2I) 모델은 과학 이미지 생성에서 필요한 엄격한 의미 정렬과 논리적 추론을 수행하지 못한다. 이를 해결하기 위해 피어스의 세미오틱 삼중구조(Peirce’s Semiotic Triad)를 기반으로 과학적 추론을 Entity Structure(Icon), Scientific Process(Index), Scientific Law(Symbol)의 세 차원으로 정식화했다. SciIR-82k는 과학 논문에서 추출한 고품질 이미지-텍스트 쌍을 포함하며, Sci-RCoT를 통해 시각적 논리를 명시적으로 모델링한다. SciIR-Bench는 세미오틱 차원별로 과학적 정확성을 세분화한 평가 체계로, Atomic Checklist를 통해 과학적 오류를 검증 가능하게 한다.

기술적 접근법

**데이터셋 구성**: SciIR-82k는 Nature와 Nature Communications에서 추출한 80,000개 이상의 과학 이미지-텍스트 쌍을 포함하며, Sci-RCoT 어노테이션을 통해 시각적 추론 경로를 명시.
**평가 벤치마크**: SciIR-Bench는 세미오틱 차원(Icon, Index, Symbol)에 따라 평가 트랙을 구분하고, Atomic Checklist를 사용해 과학적 정확성을 세분화.
**모델 개선**: Qwen-Image-2512를 SciIR-82k로 미세조정하여 Qwen-Image-SciIR 모델을 개발. SciIR-Bench 점수를 35%에서 43%로 향상.
**평가 메트릭**: 전통적 FID, CLIPScore 대신 VLM 기반의 세 단계 자동 평가 파이프라인(ground truth 추출, 원자적 질문 생성, 증거 기반 심사)을 사용.

주요 결과

SciIR-Bench에서 Qwen-Image-SciIR 모델은 SciIR-82k로 미세조정 후 최종 점수가 35% → 43%로 향상됨.
Entity Structure와 Scientific Process 트랙에서 가장 큰 개선 폭을 보임.
SciIR-Bench는 과학적 정확성을 세 가지 세미오틱 차원으로 분류하여, 각 차원별 정확도를 세분화 평가.

의의 및 한계

SciIR은 과학 이미지 생성 분야에서 데이터 부족, 평가 체계 부재, 모델의 과학적 제약 처리 능력 부족이라는 세 가지 주요 문제를 해결하기 위한 체계적인 자원을 제공한다. SciIR-82k와 SciIR-Bench는 과학적 정확성을 기반으로 모델을 훈련하고 평가할 수 있는 기반을 마련했으며, Qwen-Image-SciIR은 과학적 추론 능력을 향상시키는 실질적인 사례를 제시한다. 그러나 SciIR-82k는 주로 표준화된 출판물에 기반하기 때문에 비표준적 또는 독창적인 과학 이미지를 반영하지 못하는 한계가 있다.

실용적 활용

SciIR은 과학 연구에서 시각적 설명을 생성하거나, 교육 분야에서 과학 개념을 시각화하는 데 활용될 수 있다. 또한, 과학적 정확성을 요구하는 산업 분야(예: 제약, 재료공학)에서 모델의 신뢰성을 높이는 데 기여할 수 있다.