A Sanity Check for AI-generated Image Detection

With the rapid development of generative models, discerning AI-generated content has evoked increasing attention from both industry and academia. In this paper, we conduct a sanity check on"whether the task of AI-generated image detection has been solved". To start with, we present Chameleon dataset, consisting AIgenerated images that are genuinely challenging for human perception. To quantify the generalization of existing methods, we evaluate 9 off-the-shelf AI-generated image detectors on Chameleon dataset. Upon analysis, almost all models classify AI-generated images as real ones. Later, we propose AIDE (AI-generated Image DEtector with Hybrid Features), which leverages multiple experts to simultaneously extract visual artifacts and noise patterns. Specifically, to capture the high-level semantics, we utilize CLIP to compute the visual embedding. This effectively enables the model to discern AI-generated images based on semantics or contextual information; Secondly, we select the highest frequency patches and the lowest frequency patches in the image, and compute the low-level patchwise features, aiming to detect AI-generated images by low-level artifacts, for example, noise pattern, anti-aliasing, etc. While evaluating on existing benchmarks, for example, AIGCDetectBenchmark and GenImage, AIDE achieves +3.5% and +4.6% improvements to state-of-the-art methods, and on our proposed challenging Chameleon benchmarks, it also achieves the promising results, despite this problem for detecting AI-generated images is far from being solved.

한 줄 요약

AI 생성 이미지 탐지의 한계를 점검하고, 새로운 데이터셋과 모델 AIDE를 제안하여 성능을 개선한다.

핵심 기여도

**Chameleon 데이터셋** 제시: 인간이 실물과 구분하기 어려운 AI 생성 이미지를 포함.
**AIDE 모델 제안**: 고주파/저주파 패치와 CLIP 기반 의미 정보를 결합한 하이브리드 특징 추출.
**기존 모델 실패 분석**: 9개의 기존 탐지 모델이 Chameleon에서 대부분 실물로 분류.
**성능 개선**: AIGCDetectBenchmark(+3.5%)와 GenImage(+4.6%)에서 기존 최고 성능 대비 정확도 향상.

핵심 아이디어

AI 생성 이미지 탐지는 여전히 해결되지 않은 문제이며, 기존 연구는 인간의 인지 능력을 고려하지 않은 단순한 데이터셋을 사용해 모델 평가가 부정확하다는 점에서 출발한다. 이를 해결하기 위해, 저자는 **Chameleon**이라는 인간이 실물과 구분하기 어려운 AI 생성 이미지를 포함한 새로운 데이터셋을 제시한다. 또한, 기존 탐지 모델이 실패하는 이유는 단일 수준의 특징(예: 저수준 텍스처)만 사용하기 때문이며, 저자들은 **AIDE**라는 새로운 모델을 제안한다. 이 모델은 **고주파/저주파 패치**(SRM 필터를 통한 노이즈 패턴 분석)와 **CLIP 기반 의미 임베딩**을 결합하여, AI 생성 이미지의 **저수준 아티팩트**와 **고수준 의미 오류**를 동시에 탐지한다. 이는 기존 연구에서 고려되지 않았던 **다중 전문가 기반 하이브리드 접근법**이다.

기술적 접근법

**Chameleon 데이터셋**: 인간이 실물로 오인하는 AI 생성 이미지 포함.
**AIDE 모델 구성**:
**PFE-H / PFE-L**: 고주파/저주파 패치 추출 후 SRM 필터를 통한 노이즈 패턴 분석.
**SFE**: CLIP을 활용한 전체 이미지 의미 임베딩.
**결합**: 다양한 수준의 특징을 채널 차원에서 결합.
**하이퍼파라미터**: 명시되지 않음.
**데이터셋**: AIGCDetectBenchmark, GenImage, Chameleon.

주요 결과

**Chameleon 데이터셋 평가**: 기존 9개 탐지 모델이 AI 생성 이미지를 대부분 실물로 분류.
**AIDE 성능**:
AIGCDetectBenchmark에서 기존 최고 성능 대비 **+3.5%** 향상.
GenImage에서 **+4.6%** 향상.
Chameleon에서 경쟁력 있는 성능 달성.
**모듈 제거 실험**:
고주파/저주파 패치 제거 시 정확도 감소.
의미 분석 모듈 제거 시 정확도 76.70% → 92.77%로 감소.

의의 및 한계

AIDE는 AI 생성 이미지 탐지 문제의 복잡성을 반영한 **하이브리드 특징 추출** 접근법을 제시하며, 기존 모델의 한계를 드러내는 **Chameleon 데이터셋**을 통해 연구 방향을 재정립한다. 특히, **CLIP 활용**은 의미 오류를 탐지하는 데 기여하며, **SRM 필터 기반 저수준 분석**은 노이즈 패턴을 효과적으로 포착한다. 그러나, AI 생성 이미지 탐지는 여전히 **미해결 과제**이며, 더 복잡한 생성 모델에 대응하기 위한 연구가 필요하다. 또한, AIDE는 **Chameleon에서 완전한 성능을 보이지 못**하며, 인간 인지 수준에 근접한 모델 개발이 요구된다.