AtomiMed: Hierarchical Atomic Fact-Checking for Universal Clinical-Aware Medical Report Evaluation
Yuan Wang, Wanxing Chang, Songtao Jiang, Shujian Gao, Xiaotian Zhang, Ruifeng Yuan, Weiwei Cao, Bowen Shi, Ling Zhang, Zuozhu Liu, Jianpeng Zhang
arXiv:2606.31292 · 2026-07-02 공개 · arXiv · PDF
clinical-evaluation clinical-consistency hierarchical-evaluation cross-verification diagnostic-accuracy multi-modal-benchmark atomic-fact-checking medical-report-generation
Abstract
Traditional metrics for Medical Report Generation (MRG) predominantly rely on surface-level n-gram overlap, which fails to capture clinical factual accuracy and often overlooks catastrophic diagnostic errors. We address this fundamental limitation by proposing AtomiMed, a universal, modality-agnostic evaluation framework that decomposes complex medical narratives into a standardized, multi-level hierarchy of Atomic Clinical Facts, encompassing Disease-level entities and Attribute-level descriptors, including location, morphology, and severity. By implementing an Agentic Cross-Verification loop between ground-truth and predicted reports, AtomiMed simulates a multi-radiologist peer-review process to verify clinical consistency, thus enabling the decoupled assessment of diagnostic detection and descriptive accuracy. To facilitate standardized evaluation, we introduce MRGEvalKit, an open-source toolkit for automated hierarchical extraction, and curate OmniMRG-Bench, a comprehensive multi-modal benchmark covering X-ray, CT, MRI, and Ultrasound. Extensive experiments on multiple expert-annotated reader studies demonstrate that AtomiMed achieves significantly higher correlation with human radiologist judgment compared to traditional and model-based metrics. Our code are release at https://github.com/Venn2336/MRGEvalkit
한국어 요약
한 줄 요약
AtomiMed는 의료 보고서 생성 평가를 위해 병증 및 속성 수준의 원자적 사실을 분해하고 교차 검증하는 새로운 프레임워크이다.
핵심 기여도
- AtomiMed: 병증-속성 이중 수준의 원자적 사실 분해와 Agentic Cross-Verification 루프를 통해 진단 탐지와 기술 정확도를 분리 평가.
- OmniMRG-Bench: X-ray, CT, MRI, Ultrasound를 포함한 다중 모달 벤치마크와 MRGEvalKit이라는 오픈소스 도구 제공.
- 4개의 전문가 주석된 벤치마크에서 기존 지표 대비 높은 전문가 상관도 달성.
핵심 아이디어
기존 의료 보고서 평가 지표는 단순 n-gram 기반으로, 진단적 사실 정확도를 포착하지 못하며 치명적인 오류를 무시하는 문제가 있다. AtomiMed는 이 문제를 해결하기 위해 복잡한 의료 서술을 병증 수준(Disease-level)과 속성 수준(Attribute-level)의 원자적 사실(Atomic Clinical Facts, ACF)로 분해하고, 이들을 교차 검증하는 Agentic Cross-Verification 루프를 도입한다. 이는 병리학적 일관성을 검증하는 방식으로, 병증 존재 여부와 위치, 형태, 심각도 등의 속성을 독립적으로 평가할 수 있게 한다. 이는 기존의 CheXbert, RadGraph 등이 특정 모달에 제한된 반면, AtomiMed은 모달에 무관한 평가를 가능하게 한다는 점에서 혁신적이다.
기술적 접근법
- **AtomiMed**:
- (i) 병증-속성 수준 QA 쌍 추출 모듈
- (ii) Agentic Cross-Verification 루프: 진단 보고서와 예측 보고서 간의 양방향 질의를 통해 정밀도, 재현율, F1 점수 계산
- (iii) OmniMRG-Bench: X-ray, CT, MRI, Ultrasound를 포함한 다중 모달 벤치마크
- **MRGEvalKit**: 자동화된 계층적 추출을 위한 오픈소스 툴킷
- **실험 환경**: ReXVal, ReFiSco-v0, RadEvalX, RaTE-Eval 등 4개의 전문가 주석된 벤치마크 사용
주요 결과
- AtomiMed은 4개의 전문가 주석된 벤치마크에서 기존 지표(GREEN 포함) 대비 높은 전문가 판단 상관도를 달성함.
- RaTE-Eval 데이터셋에서 AtomiMed는 기존 지표 대비 +12.3%의 상관도 향상.
- 10개의 최신 모델을 비교한 10×10 매트릭스에서 AtomiMed은 시각적, 기술적 오류를 구분하여 보다 정확한 평가 제공.
의의 및 한계
AtomiMed은 의료 보고서 생성 평가에서 진단 정확도와 기술 정확도를 분리 평가할 수 있는 첫 번째 모달-무관 프레임워크로, 기존 지표가 포착하지 못한 속성 수준의 오류를 식별할 수 있다. 이는 의료 AI 모델의 신뢰성 향상과 임상적 적용 가능성 확대에 기여할 수 있다. 그러나 현재는 주로 영상 모달에 초점을 맞추고 있으며, 장기적 추적 데이터나 다른 임상 분야로의 확장은 아직 미비한 점이 있다. 또한, Agentic Cross-Verification 루프는 계산 비용이 높아 효율성 향상이 필요하다.
실용적 활용
AtomiMed은 병원 및 연구소에서 의료 AI 모델의 진단 정확도를 평가하는 데 활용될 수 있으며, 특히 복합적 영상 데이터를 다루는 상황에서 모델 개선과 임상 적용을 촉진할 수 있다. MRGEvalKit은 연구자들이 보고서 생성 모델의 성능을 재현하고 비교하는 데 유용한 도구로 사용될 수 있다.