MedPMC: A Systematic Framework for Scaling High-Fidelity Medical Multimodal Data for Foundation Models

Medicine is inherently multimodal, requiring clinicians to synthesize information across diverse data streams. Yet the development of multimodal foundation models is constrained by limited access to large-scale, high-quality clinical data. Although PubMed Central (PMC) offers a complementary source of expert-authored image-text data, existing PMC-derived resources remain limited in fidelity, reproducibility, and clinical validation. We introduce MedPMC, an automated, continuously updatable framework that transforms permissively licensed literature into high-fidelity infrastructure for medical multimodal models. Applied to 6.1 million PMC articles, MedPMC curated 11 million medical image-text pairs. Component evaluations showed strong performance for initial screening (F1 = 93.2), multi-panel figure detection (F1 = 96.5), figure separation (mAP = 89.8), caption separation and alignment (F1 = 81.4; ROUGE-L = 85.3), and medical figure classification (F1 = 96.5). Manual review by five annotators, three with medical training, found 95.3% of MedPMC images medically relevant, versus 19.7% in a prior PMC-derived dataset. Across 26 benchmarks spanning 11 specialties, a MedPMC-trained CLIP-style model improved average zero-shot AUC by 7.1 percentage points over the strongest architecture-matched biomedical CLIP baseline despite using fewer than half as many image-text pairs. As the vision encoder in a multimodal large language model, it improved medical visual question-answering by 1.9 and 16.9 percentage points across two benchmarks. In 10,524 Yale New Haven Health System dermatology photographs, it improved morphology-to-image retrieval Recall@5 by 11.7 percentage points. These findings show that high-fidelity literature curation strengthens medical multimodal foundation models across benchmark and clinical settings. We publicly release the framework, corpus, benchmarks, and pretrained models.

한 줄 요약

MedPMC는 610만 개의 PMC 논문에서 1,100만 개의 의료 이미지-텍스트 쌍을 자동으로 추출하고 정제하여 의료 멀티모달 기초 모델을 훈련하는 데 사용할 수 있는 고정밀 데이터프레임워크를 제시한다.

핵심 기여도

MedPMC는 6.1백만 개의 PMC 논문에서 1,100만 개의 의료 이미지-텍스트 쌍을 자동으로 추출하여, 기존 PMC 기반 데이터셋 대비 95.3%의 의학적 관련성을 달성함.
MedPMC-CLIP 모델은 26개 벤치마크에서 기존 바이오메디컬 CLIP 기반 모델 대비 평균 zero-shot AUC를 7.1%포인트 개선함.
멀티모달 대규모 언어 모델에서 MedPMC-CLIP을 시각 인코더로 사용할 경우 MMMU와 OmniMedVQA에서 각각 1.9%포인트, 16.9%포인트 성능 향상함.
연 100만 개 이상의 새로운 의료 관련 이미지-텍스트 쌍을 지속적으로 추가할 수 있는 모듈식 프레임워크를 제공함.

핵심 아이디어

의료 데이터는 텍스트, 이미지, 실험 결과 등 다양한 형태로 존재하지만, 기존 데이터셋은 규모가 작고 의학적 관련성이 낮아 멀티모달 기초 모델 개발에 한계가 있었다. MedPMC는 PMC에 있는 공개 허가 논문을 기반으로, 이미지-텍스트 쌍을 자동으로 추출하고 정제하여 의학적 관련성을 높인 데이터를 생성한다. 특히, 다중 패널 이미지 분리, 캡션 정렬, 의료 이미지 분류 등 5단계의 모듈식 프로세스를 통해 데이터의 질을 향상시켰다. 예를 들어, Vision Transformer는 다중 패널 이미지 탐지에서 F1 96.5, 분류에서는 F1 96.5를 달성하며, 기존 기법 대비 높은 정확도를 보였다.

기술적 접근법

MedPMC는 5단계의 모듈로 구성된 프레임워크로, 각 단계는 특정 목적의 모델로 처리된다:
1. **Initial Screening**: PubMedBERT를 사용하여 캡션과 인라인 텍스트를 결합해 F1 93.2 성능 달성.
2. **Multi-panel Figure Detection**: Vision Transformer + 합성 데이터로 F1 96.5 달성.
3. **Figure Separation**: YOLOv10 기반 감지기로 mAP 89.8 달성.
4. **Caption Separation & Alignment**: InternVL-2.5-4B 모델로 F1 81.4, ROUGE-L 85.3 달성.
5. **Medical Figure Classification**: Vision Transformer로 F1 96.5 달성.
이러한 모듈은 개별적으로 평가 및 업데이트가 가능하며, 새로운 PMC 논문이 추가될 때마다 자동으로 데이터셋을 확장한다.

주요 결과

MedPMC-CLIP은 26개 벤치마크에서 기존 바이오메디컬 CLIP 기반 모델 대비 평균 zero-shot AUC를 7.1%포인트 개선함.
MMMU와 OmniMedVQA에서 각각 1.9%포인트, 16.9%포인트 성능 향상함.
10,524개의 Yale New Haven Health System 피부과 사진에서 morphology-to-image retrieval Recall@5가 11.7%포인트 향상됨.
기존 PMC 기반 데이터셋 대비 95.3%의 의학적 관련성을 달성함 (vs. 19.7%).

의의 및 한계

MedPMC는 의료 멀티모달 기초 모델 개발에 필요한 대규모, 고정밀 데이터셋을 제공하며, 모듈식 프레임워크를 통해 지속적인 확장과 재현 가능성을 보장한다. 특히, 기존 데이터셋이 정적 스냅샷이어서 날로 오래될 수 있는 문제를 해결하고, 의학 전문가가 직접 검토한 95.3%의 관련성을 통해 데이터 신뢰도를 높였다. 그러나 MedPMC는 PMC에 의존하므로, PMC 외의 의료 데이터를 포함하지 못하는 한계가 있다. 또한, 일부 복합 이미지는 여전히 정확하게 분리되지 않을 수 있으며, 이는 모델 훈련에 영향을 줄 수 있다.

실용적 활용

MedPMC는 의료 멀티모달 기초 모델, 특히 CLIP 스타일의 비전-언어 모델 및 MLLM 개발에 활용 가능하다. 병원 및 연구소는 MedPMC를 사용해 자체 의료 이미지 분석 시스템을 구축할 수 있으며, 의학 교육 및 진단 지원 시스템 개발에도 적용 가능하다.