RealNet: A Feature Selection Network with Realistic Synthetic Anomaly for Anomaly Detection

Self-supervised feature reconstruction methods have shown promising advances in industrial image anomaly de-tection and localization. Despite this progress, these meth-ods still face challenges in synthesizing realistic and di-verse anomaly samples, as well as addressing the feature redundancy and pre-training bias of pre-trained feature. In this work, we introduce RealNet, a feature reconstruction network with realistic synthetic anomaly and adaptive feature selection. It is incorporated with three key inno-vations: First, we propose Strength-controllable Diffusion Anomaly Synthesis (SDAS), a diffusion process-based syn-thesis strategy capable of generating samples with varying anomaly strengths that mimic the distribution of real anomalous samples. Second, we develop Anomaly-aware Features Selection (A FS), a method for selecting repre-sentative and discriminative pre-trained feature subsets to improve anomaly detection performance while controlling computational costs. Third, we introduce Reconstruction Residuals Selection (RRS), a strategy that adaptively selects discriminative residuals for comprehensive identification of anomalous regions across multiple levels of granularity. We assess RealNet onfour benchmark datasets, and our results demonstrate significant improvements in both Image AU-Rae and Pixel AUROC compared to the current state-of-the-art methods. The code, data, and models are available at https://github.com/cnulab/RealNet.

한 줄 요약

RealNet은 SDAS, AFS, RRS를 결합한 새로운 이상 탐지 프레임워크로, MVTec-AD 등 4개 데이터셋에서 기존 최고 성능을 개선한다.

핵심 기여도

**Strength-controllable Diffusion Anomaly Synthesis (SDAS)**: DDPM 기반의 이상 샘플 생성 전략으로, 다양한 이상 강도를 제어하여 실제 분포에 가까운 샘플을 생성.
**Anomaly-aware Features Selection (AFS)**: 대규모 사전 학습된 CNN의 특징 중 대표적이고 구별력 있는 부분만 선택하여 성능 향상과 계산 비용 절감.
**Reconstruction Residuals Selection (RRS)**: 이상 영역을 다중 해상도에서 식별하기 위해 구별력 있는 재구성 잔차만 선택.
**4개의 대규모 데이터셋 (MVTec-AD, MPDD, BTAD, VisA)**에서 Image AUROC와 Pixel AUROC 모두 기존 최고 성능을 초과.

핵심 아이디어

기존 이상 탐지 방법은 합성된 이상 샘플이 실제 분포와 차이가 있고, 사전 학습된 특징의 중복 및 편향 문제를 해결하지 못한다. RealNet은 이 문제를 세 가지 핵심 모듈로 해결한다. 첫째, SDAS는 DDPM을 기반으로 정상 샘플 분포를 모델링하고, 샘플링 과정에서 편차를 주어 다양한 이상 강도를 가진 샘플을 생성한다. 이는 노화, 구조 변화, 색상 변화 등 실제 이상 패턴을 시뮬레이션한다. 둘째, AFS는 사전 학습된 CNN의 특징 중 가장 구별력 있는 부분만 선택하여, 성능을 유지하면서 계산 비용을 줄인다. 셋째, RRS는 재구성 잔차 중 이상 정보를 포함한 부분만 선택하여, 미검출을 줄이고 이상 영역의 재현률을 높인다.

기술적 접근법

**SDAS**: DDPM 기반의 확산 과정을 사용하여 정상 샘플 분포를 모델링. 샘플링 시 편차를 주어 다양한 이상 강도를 생성.
**AFS**: 랜덤 차원 축소(RDR), 무작위 선형 투영(RLPR) 대비 더 높은 성능을 보이는 특징 선택 방법.
**RRS**: Max & Avg 모드를 사용하여 다양한 해상도에서 이상 영역을 식별.
**하이퍼파라미터**: 이상 강도 $ s $, 잔차 보존 비율 $ P = \frac{r}{\Sigma_{k=1}^{K}m_k} $ 등이 실험적으로 조정됨.
**모델 아키텍처**: MVTec-AD, MPDD, BTAD, VisA 데이터셋에서 동일한 네트워크 구조와 하이퍼파라미터 사용.

주요 결과

**MVTec-AD, MPDD, BTAD, VisA** 4개 데이터셋에서 Image AUROC와 Pixel AUROC 모두 기존 최고 성능을 초과.
**AFS**는 RDR, RLPR 대비 더 높은 이상 탐지 성능을 보임.
**RRS**는 전체 재구성 잔차를 사용할 때보다 성능이 10% 이상 향상됨 (Tab. 5(a)).
**SDAS**에서 이상 강도 $ s $가 너무 작거나 크면 성능 저하. 적절한 $ s $ 범위 내에서 샘플링하는 것이 가장 효과적임.

의의 및 한계

RealNet은 사전 학습된 CNN의 특징을 효과적으로 활용하면서도 계산 비용을 줄이는 새로운 이상 탐지 프레임워크로, 다양한 산업 분야에서 실용적 활용 가능성을 제시한다. 특히, SDAS는 실제 분포에 가까운 이상 샘플을 생성하여 기존 방법의 합성 샘플 분포 문제를 해결한다. 그러나 SDAS의 이상 강도 $ s $ 조정이 성능에 큰 영향을 미치므로, 자동 최적화 전략이 필요할 수 있다. 또한, AFS와 RRS는 특정 데이터셋에 따라 최적의 파라미터 조정이 요구될 수 있다.

실용적 활용

RealNet은 제조업, 품질 검사, 안전 모니터링 등에서 이상 탐지를 위한 실시간 시스템 구축에 활용 가능하다. 특히, SDAS를 사용한 합성 데이터 생성은 라벨이 부족한 산업 환경에서 유용하며, AFS와 RRS는 대규모 모델의 효율적 활용을 가능하게 한다. 제공된 SIA 데이터셋은 다양한 이상 패턴을 학습하는 데 활용될 수 있다.