AA-CLIP: Enhancing Zero-Shot Anomaly Detection via Anomaly-Aware CLIP

Anomaly detection (AD) identifies outliers for applications like defect and lesion detection. While CLIP shows promise for zero-shot AD tasks due to its strong generalization capabilities, its inherent Anomaly-Unawareness leads to limited discrimination between normal and abnormal features. To address this problem, we propose Anomaly-Aware CLIP (AA-CLIP), which enhances CLIP's anomaly discrimination ability in both text and visual spaces while preserving its generalization capability. AA-CLIP is achieved through a straightforward yet effective two-stage approach: it first creates anomaly-aware text anchors to differentiate normal and abnormal semantics clearly, then aligns patch-level visual features with these anchors for precise anomaly localization. This two-stage strategy, with the help of residual adapters, gradually adapts CLIP in a controlled manner, achieving effective AD while maintaining CLIP's class knowledge. Extensive experiments validate AA-CLIP as a resource-efficient solution for zero-shot AD tasks, achieving state-of-the-art results in industrial and medical applications. The code is available at https://github.com/Mwxinnn/AA-CLIP.

한 줄 요약

AA-CLIP은 CLIP의 이상 감지 능력을 향상시킨 두 단계적 접근법을 통해 제로샷 이상 탐지를 개선한 모델이다.

핵심 기여도

이상 인식 능력을 향상시킨 Anomaly-Aware CLIP(AA-CLIP) 제안.
두 단계적 접근법을 통해 텍스트 및 시각 공간에서 이상 구분 능력 향상.
Residual Adapters를 활용해 CLIP의 사전 학습 지식 유지하면서 정밀한 이상 탐지 성능 달성.
64 샷 훈련으로 SOTA 성능 달성.

핵심 아이디어

CLIP은 강력한 제너럴라이제이션 능력을 가졌으나, 이상 인식 능력이 부족한 'Anomaly-Unawareness' 문제가 존재한다. 이를 해결하기 위해 AA-CLIP은 텍스트 및 시각 공간에서 이상 구분 능력을 향상시키는 두 단계적 접근법을 도입한다. 첫 번째 단계에서는 텍스트 인코더를 적응시켜 이상 인식 텍스트 앵커를 생성하고, 두 번째 단계에서는 패치 수준의 시각 특성을 해당 앵커와 정렬하여 정밀한 이상 지역화를 수행한다. 이 과정에서 Residual Adapters가 사용되어 CLIP의 사전 학습 지식을 유지하면서 제어된 방식으로 모델을 적응시킨다. 이는 기존 CLIP 기반 이상 탐지 방법과 비교해 더 정확하고 효율적인 제로샷 탐지를 가능하게 한다.

기술적 접근법

**모델 구조**: OpenCLIP의 ViT-L/14 아키텍처를 사용.
**두 단계적 접근법**:

1. 텍스트 인코더를 적응시켜 이상 인식 텍스트 앵커 생성 (Frozen Visual Encoder).
2. 패치 수준 시각 특성을 해당 앵커와 정렬 (Visual Encoder Alignment).

**Residual Adapters**: 두 단계 모두에서 사용되어 CLIP의 사전 학습 지식 유지.
**하이퍼파라미터**: λ=0.1, KT=3, KI=6, γ=0.1.
**학습 세부사항**: 첫 단계 5 에포크, 1×10⁻⁵ 학습률; 두 번째 단계 20 에포크, 5×10⁻⁴ 학습률.

주요 결과

**VisA 데이터셋**: 64 샷 훈련으로 AUROC 98.2% 달성 (기존 CLIP 대비 +12.3%).
**CVC-ClinicDB 데이터셋**: AUROC 97.5% (기존 CLIP 대비 +11.7%).
**제로샷 성능**: 2 샷 훈련으로도 기존 CLIP 기반 방법과 유사한 성능 달성.
**다양한 도메인**: 산업 및 의료 분야에서 모두 SOTA 성능 보임.

의의 및 한계

AA-CLIP은 CLIP의 이상 인식 능력을 향상시키는 새로운 접근법을 제시하며, 제로샷 환경에서의 이상 탐지 성능을 획기적으로 향상시켰다. 특히, Residual Adapters를 통해 CLIP의 사전 학습 지식을 유지하면서도 정밀한 이상 지역화를 가능하게 한 점이 학술적·실용적 가치를 높인다. 그러나 본 논문은 훈련 샘플 수가 증가할수록 과적합이 발생할 수 있음을 지적하며, CLIP의 적응 한계에 대한 추가 연구가 필요하다고 언급한다. 또한, 텍스트 앵커 생성 과정에서의 일반화 능력도 한계로 제기된다.

실용적 활용

AA-CLIP은 제한된 라벨 데이터 환경에서 산업 검사 및 의료 영상 분석 등 다양한 이상 탐지 작업에 적용 가능하다. 특히, 빠른 적응과 높은 정밀도를 요구하는 실시간 모니터링 시스템에서 유용할 것으로 기대된다.