Real-IAD: A Real-World Multi-View Dataset for Benchmarking Versatile Industrial Anomaly Detection

Industrial anomaly detection (I AD) has garnered signif-icant attention and experienced rapid development. However, the recent development of I AD approach has encountered certain difficulties due to dataset limitations. On the one hand, most of the state-of-the-art methods have achieved saturation (over 99% in AUROC) on mainstream datasets such as MVTec, and the differences of methods cannot be well distinguished, leading to a significant gap between public datasets and actual application scenarios. On the other hand, the research on various new practical anomaly detection settings is limited by the scale of the dataset, posing a risk of overfitting in evaluation results. Therefore, we propose a large-scale, Real-world, and multi-view Industrial Anomaly Detection dataset, named Real- I AD, which contains 150K high-resolution images of 30 different objects, an order of magnitude larger than existing datasets. It has a larger range of defect area and ratio proportions, making it more challenging than previous datasets. To make the dataset closer to real application scenarios, we adopted a multi-view shooting method and proposed sample-level evaluation metrics. In addition, beyond the general unsupervised anomaly detection setting, we propose a new setting for Fully Unsupervised Indus-trial Anomaly Detection (FUIAD) based on the observation that the yield rate in industrial production is usually greater than 60%, which has more practical application value. Finally, we report the results of popular I AD methods on the Real- I AD dataset, providing a highly challenging benchmark to promote the development of the I AD field.

한 줄 요약

Real-IAD는 150K 장의 고해상도 이미지를 포함한 실세계 다각도 산업 이상 탐지 대규모 데이터셋이다.

핵심 기여도

기존 MVTec, VisA 대비 10배 이상 큰 150K 장의 이미지로 구성된 Real-IAD 데이터셋 제안.
30개 객체, 5개 각도, 8가지 공통 결함을 포함하여 결함 면적 및 비율 범위를 확장.
새로운 Fully Unsupervised Industrial Anomaly Detection (FUIAD) 설정 제안.
샘플 수준 평가 지표 도입, 기존 이미지/픽셀 수준 평가를 보완.

핵심 아이디어

기존 산업 이상 탐지(IAD) 연구는 MVTec, VisA와 같은 데이터셋에서 대부분 99% 이상의 AUROC 성능을 달성하여 방법 간 차별화가 어려운 상황에 도달했다. 이는 실제 산업 적용과의 격차를 초래한다. Real-IAD는 이 문제를 해결하기 위해 대규모, 실세계, 다각도 이미지를 포함한 새로운 데이터셋을 제안한다. 특히, 산업 생산에서 불량률이 60% 이상이라는 관찰을 바탕으로 FUIAD라는 새로운 설정을 도입하여, 실제 적용에 더 가까운 평가 환경을 구축한다. 또한, 기존 단일 시점 데이터셋의 한계를 극복하기 위해 5가지 각도의 이미지를 수집하고, 샘플 수준 평가 지표를 추가하여 실제 산업 검사 시나리오에 더 부합하도록 설계되었다.

기술적 접근법

**Real-IAD 데이터셋 구성**: 30개 객체, 5개 각도, 8가지 공통 결함, 150K 장의 고해상도 이미지.
**샘플 수준 평가**: 기존 이미지/픽셀 수준 외에 샘플 수준 평가 지표를 추가.
**FUIAD 설정**: 60% 이상의 양품률을 고려해, 일부 결함 이미지를 학습 집합에 포함시킨 완전히 비지도 학습 설정.
**평가 지표**: AUROC, AUPRO, PRO (Per-Region Overlap) 사용.
**기존 방법 비교**: PatchCore, PaDiM, CFlow, SimpleNet, DeSTSeg, RD, UniAD 등 다양한 IAD 알고리즘을 비교 실험에 활용.

주요 결과

**MVTec 대비 성능 감소**: MVTec에서 97.9%인 I-AUROC이 Real-IAD 단일 시점에서도 85%로 감소.
**기존 방법의 한계 드러남**: MVTec에서 98~99% 성능을 보이는 대부분의 방법이 Real-IAD에서는 약 90% 수준에 머무름.
**픽셀 수준 성능 저하**: Real-IAD의 P-PRO는 VisA와 유사하지만 MVTec보다 낮아, 픽셀 수준 이상 탐지의 어려움을 보여줌.
**다각도 데이터셋의 효과**: 단일 시점 대비 다각도 데이터가 실제 산업 환경에 더 가까운 평가를 가능하게 함.

의의 및 한계

Real-IAD는 기존 IAD 데이터셋의 한계를 극복하고, 실제 산업 환경에 더 가까운 평가 기준을 제시함으로써 연구 발전에 기여한다. 특히, FUIAD 설정은 실제 산업 생산 환경에서 불량률이 높은 상황을 반영하여, 더 실용적인 평가를 가능하게 한다. 그러나 본 연구는 일부 대표적인 방법만 비교했으며, 향후 더 많은 알고리즘을 복제하고 평가하는 것이 필요하다. 또한, 3D 센서 사용이 어려운 현실에서 2D 다각도 데이터셋의 한계도 존재한다.

실용적 활용

Real-IAD는 자동화된 산업 검사 시스템 개발, 고정밀 결함 탐지 알고리즘 연구, 비지도 학습 기반의 실시간 이상 탐지 모델 개선 등에 활용 가능하다. 특히, 제약, 식품, 배터리 등 안전성이 중요한 산업 분야에서의 적용이 기대된다.