Adapting Visual-Language Models for Generalizable Anomaly Detection in Medical Images

Recent advancements in large-scale visual-language pre-trained models have led to significant progress in zero/few-shot anomaly detection within natural image domains. However, the substantial domain divergence between natural and medical images limits the effectiveness of these methodologies in medical anomaly detection. This paper introduces a novel lightweight multi-level adaptation and comparison framework to repurpose the CLIP model for medical anomaly detection. Our approach integrates multiple residual adapters into the pre-trained visual encoder, enabling a stepwise enhancement of visual features across different levels. This multi-level adaptation is guided by multi-level, pixel-wise visual-language feature alignment loss functions, which recalibrate the model's focus from object semantics in natural imagery to anomaly identification in medical images. The adapted features exhibit improved generalization across various medical data types, even in zero-shot scenarios where the model encounters unseen medical modalities and anatomical regions during training. Our experiments on medical anomaly detection benchmarks demonstrate that our method significantly surpasses current state-of-the-art models, with an average AUC improvement of 6.24% and 7.33% for anomaly classification, 2.03% and 2.37% for anomaly segmentation, under the zero-shot and few-shot settings, respectively. Source code is available at: https://github.com/MediaBrain-SJTU/MVFA-AD

한 줄 요약

CLIP 모델을 의료 영상 이상 탐지에 적응시키는 다중 레벨 어댑터와 정렬 손실 기반 프레임워크를 제안한다.

핵심 기여도

CLIP 모델에 다중 레벨 잔여 어댑터(residual adapter)를 통합하여 의료 영상 이상 탐지에 적응.
다중 레벨, 픽셀 기반 시각-언어 특징 정렬 손실 함수를 도입하여 일반화 성능 향상.
Zero-shot 및 few-shot 설정에서 기존 최고 성능 모델 대비 AUC 6.24%~7.33% 개선.
뇌 MRI, 간 CT, 망막 OCT 등 다섯 가지 의료 영상 데이터셋에서 평가.

핵심 아이디어

CLIP 모델은 자연 영상에서 학습된 시각-언어 모델로, 의료 영상과는 큰 도메인 차이가 존재한다. 본 연구는 CLIP의 시각 인코더에 다중 레벨 잔여 어댑터를 추가하여, 시각 특징을 단계적으로 강화하고, 이 과정을 시각-언어 특징 정렬 손실 함수로 안내함으로써, 의료 영상에서 이상 탐지에 집중하도록 모델을 재정렬한다. 이는 자연 영상의 객체 의미학에서 의료 영상의 이상 패턴 식별로의 전환을 가능하게 한다. 특히, ‘정상’ 또는 ‘이상’이라는 텍스트 프롬프트를 사용하여 모델의 주요 관심 영역을 재정의한다.

기술적 접근법

**모델**: CLIP의 시각 인코더에 다중 레벨 잔여 어댑터(residual adapter)를 통합.
**손실 함수**: 다중 레벨, 픽셀 기반 시각-언어 특징 정렬 손실 함수(multi-level, pixel-wise visual-language feature alignment loss)를 사용.
**데이터셋**: 뇌 MRI, 간 CT, 망막 OCT, 흉부 X선, 디지털 병리 등 다섯 가지 의료 영상 데이터셋.
**추론**: 어댑트된 시각 특징과 텍스트 프롬프트 특징, 추가 이미지 특징 간 비교를 통해 다중 레벨 이상 점수 맵 생성.
**하이퍼파라미터**: 어댑터는 단계적으로 최적화되며, 단일 레이어 최적화와 다중 레벨 최적화를 비교한 실험 수행.

주요 결과

**Zero-shot 설정**: 이상 분류(AUC) 평균 6.24%, 이상 분할(AUC) 평균 2.03% 개선.
**Few-shot 설정**: 이상 분류(AUC) 평균 7.33%, 이상 분할(AUC) 평균 2.37% 개선.
**개별 데이터셋**: HIS(45.55%↑), ChestXray(13.05%↑), BrainMRI(8.87%↑) 등에서 높은 개선폭.
**레이어별 성능**: Layer 2에서 88.84% (AC), 98.62% (AS) 달성.
**앙상블 성능**: Layer 1~4의 특징 통합 시 AC 88.97%, AS 98.67% 달성.

의의 및 한계

본 연구는 CLIP 모델을 의료 영상 이상 탐지에 적응시키는 최초의 시도로, Zero-shot 및 Few-shot 설정에서 뛰어난 일반화 능력을 보인다. 특히, 다중 레벨 어댑터와 정렬 손실을 결합한 방식은 시각 특징을 의료 도메인에 맞게 재정렬하는 데 효과적이다. 그러나, 의료 영상의 복잡한 분포와 다양한 모달리티를 모두 포괄하는 것은 여전히 어려운 과제이며, 더 많은 데이터와 다양한 도메인에서의 평가가 필요하다. 또한, 어댑터의 가중치 최적화 과정에서 과적합 가능성도 존재한다.

실용적 활용

의료 영상 분석에서 데이터가 제한적인 상황, 예를 들어 새로운 병리 유형이나 모달리티가 등장했을 때, 본 연구의 프레임워크는 추가 학습 없이도 유연하게 적용 가능하다. 병원의 영상 진단 시스템, 의료 AI 개발, 정밀 의료 분야에서 실용적 활용이 기대된다.