CRAFT: Clinical Reward-Aligned Finetuning for Medical Image Synthesis

Foundation diffusion models can generate photorealistic natural images, but adapting them to medical imaging remains challenging. In medical adaptation, limited labeled data can exacerbate hallucination-like and clinically implausible synthesis, while existing metrics such as FID or Inception Score do not quantify per-image alignment with pathology-relevant criteria. We introduce the Clinical Alignment Score (CAS), a foundation-model-based proxy for clinical alignment that evaluates generated images along four complementary dimensions beyond visual fidelity. Building on CAS, we propose Clinical Reward-Aligned Finetuning (CRAFT), a reward-based adaptation framework that transfers medical knowledge from multimodal large language models and vision-language models through label-conditioned prompt enrichment, clinical checklists, and differentiable reward optimization. Across four diverse modalities, CRAFT improves CAS and downstream classification performance over strong adaptation baselines. Beyond average CAS gains, CRAFT reduces the empirical low-alignment tail below a real-image reference threshold by 5.5-34.7% points relative to the strongest baseline, corresponding to a 20.4% average relative reduction across datasets. These results indicate fewer hallucination-like generations under CAS, and are corroborated by out-of-family evaluator evaluation, structured checklist auditing, memorization analysis, and a blinded physician preference study on CheXpert.

📋 한 줄 요약

**[의료 영상 생성 / 정렬]** 자연 이미지용 파운데이션 확산 모델을 의료 영역에 임상 정합적으로 적응시키기 위한 보상 정렬 파인튜닝 프레임워크 CRAFT와 평가 지표 CAS를 제안.

🎯 핵심 기여도

FID·Inception Score 같은 기존 지표가 이미지별 임상 정합성을 정량화하지 못한다는 문제를 명확화.
시각적 충실도를 넘어 네 가지 보완 차원으로 임상 정합을 평가하는 파운데이션 모델 기반 프록시 Clinical Alignment Score(CAS) 도입.
CAS 위에 구축된 보상 정렬 적응 프레임워크 CRAFT 제안 — label-conditioned prompt enrichment, clinical checklists, differentiable reward optimization으로 MLLM·VLM의 의료 지식을 전이.
네 가지 다양한 모달리티에서 CAS와 다운스트림 분류 성능을 강한 적응 베이스라인 대비 개선.

💡 핵심 아이디어

의료 영상 생성 모델의 품질은 평균 FID가 아니라 **임상적 저정합 꼬리(low-alignment tail)**가 얼마나 두꺼운가에 의해 결정된다. CAS와 CRAFT는 이 꼬리를 직접 측정·최적화하는 도구다.

🔬 기술적 접근법

**모델/방법론**: 파운데이션 확산 모델 + CAS 보상 + CRAFT 정렬 파인튜닝.
**핵심 기법**: label-conditioned prompt enrichment, 임상 체크리스트, MLLM·VLM의 의료 지식을 활용한 differentiable reward optimization, 네 모달리티에 걸친 적응 평가.

📊 주요 결과

네 가지 모달리티에서 CAS와 다운스트림 분류 성능 모두 강한 베이스라인 대비 향상.
실제 영상 reference 기준선 아래의 empirical low-alignment tail을 강한 베이스라인 대비 5.5–34.7%p 감소(데이터셋별 평균 상대 감소 20.4%).
out-of-family evaluator·구조화된 체크리스트 감사·메모리제이션 분석·CheXpert 블라인드 의사 선호 연구로 보완 검증.

💭 의의 및 한계

**의의**: 의료 영상 생성 모델 평가·정렬 분야에서 평균 지표에 가려진 임상 위험을 표면화하고, 보상 정렬로 직접 줄이는 표준 레시피를 제공. **한계**: CAS가 결국 파운데이션 모델 프록시이므로 평가-학습 모델 간 상관 편향 가능성, 평가 모달리티 다양화는 후속 과제.

🚀 실용적 활용

의료 데이터 증강(증례 부족 질환)을 위한 안전한 합성 영상 생성.
임상 보조 도구의 학습 데이터 큐레이션.
의료 영상 확산 모델의 출시 전 임상 정합 회귀 평가.