MedFM-Robust: Benchmarking Robustness of Medical Foundation Models

Medical foundation models (MedFMs) have emerged as transformative tools in healthcare, demonstrating capabilities across diverse clinical applications. These models can be broadly categorized into two paradigms: Medical Vision-Language Models (Med-VLMs) and segmentation foundation models. Med-VLMs range from medical-specialized models such as LLaVA-Med and MedGemma, to general-purpose models like GPT-4o and Gemini, all capable of medical image understanding tasks including visual question answering (VQA), report generation, and visual grounding. Concurrently, the Segment Anything Model (SAM) has catalyzed a new generation of medical segmentation models, with adaptations like SAM-Med2D and MedSAM. The widespread clinical deployment of these models thus necessitates rigorous evaluation of their reliability under real-world conditions.

한 줄 요약

**[의료 파운데이션 모델 / 견고성 벤치마크]** Med-VLM과 segmentation 파운데이션 모델을 포함한 의료 파운데이션 모델(MedFM)의 실세계 조건 신뢰성을 체계적으로 평가하는 벤치마크 MedFM-Robust 제안.

핵심 기여도

의료 파운데이션 모델을 (1) 의료 특화 LLaVA-Med·MedGemma와 GPT-4o·Gemini 같은 일반 목적 Med-VLM과 (2) SAM-Med2D·MedSAM 같은 SAM 기반 의료 segmentation 모델 두 패러다임으로 명확히 분류·정리.
의료 영상 이해(VQA·보고서 생성·시각 grounding)와 의료 segmentation 양쪽을 아우르는 임상 적용성을 평가 대상으로 설정.
실세계 임상 배포 조건에서 MedFM의 reliability를 엄밀히 평가해야 한다는 필요성을 명시적으로 제기.
광범위한 의료 파운데이션 모델 generation을 동일 견고성 축으로 비교 가능하게 만드는 벤치마킹 토대를 정립.

핵심 아이디어

"의료 파운데이션 모델의 능력 시연(capability demo)"과 "임상 배포 시 견고성 보장(robust deployment)"은 별개의 문제이며, 실세계 조건의 분포 변화·노이즈·도메인 격차에 대한 표준화된 평가가 임상 도입의 전제 조건이라는 입장.

기술적 접근법

**모델/방법론**: Med-VLM 군(LLaVA-Med, MedGemma, GPT-4o, Gemini 등)과 의료 segmentation 군(SAM-Med2D, MedSAM 등)을 동일 프레임워크에서 평가.
**핵심 기법**: 의료 이미지 이해 태스크(VQA·report generation·grounding)와 segmentation을 견고성 차원에서 분석하는 벤치마크 구성, 다양한 임상 분야와 영상 모달리티에 걸친 평가.

주요 결과

의료 파운데이션 모델의 실세계 신뢰성에 대한 체계적 평가 토대 제공(구체 모델별 점수는 본문 참조).
두 가지 파라다임 사이의 견고성 격차와 공통적 취약점 카테고리를 식별 가능하게 함.
임상 배포 전 모델 선별을 위한 표준 평가 축 정립.

의의 및 한계

**의의**: 의료 AI에서 "능력의 시연"과 "임상 신뢰성" 사이의 간극을 좁히는 표준 벤치마크 역할, 후속 의료 파운데이션 모델 평가의 토대. **한계**: 견고성 평가는 본질적으로 분포 변화의 범주에 의존하며, 실제 병원 환경에서 마주치는 모든 변동을 포착하긴 어려움.

실용적 활용

병원·헬스케어 기업의 의료 AI 모델 채택 시 robustness due diligence 평가 도구.
규제 당국이 의료 AI 인허가 심사에서 활용할 수 있는 표준 평가 카드 기반.
의료 파운데이션 모델 학습 시 약점 도메인 보완을 위한 데이터·전략 설계 가이드.