transfer-learning resnet50 image-forgery densenet121 feature-enhancement youden-index classification-robustness cnn-architectures
Abstract
The increasing availability of advanced image editing tools has led to a significant rise in manipulated digital content, posing serious challenges for digital forensics and information security. This study presents a transfer learning-based framework for digital image forgery detection that integrates compression-aware feature enhancement with deep convolutional neural network (CNN) architectures.
The proposed approach introduces a hybrid input representation that combines RGB images with compression difference-based features (FDIFF), explicitly highlighting subtle manipulation artifacts that are often difficult to detect. In addition, a model-specific adaptive threshold optimization strategy based on the Youden Index is employed to improve classification reliability by achieving a better balance between true positive and false positive rates.
Experiments conducted on the CASIA v2.0 dataset using multiple pretrained CNN architectures, including DenseNet121, VGG16, ResNet50, EfficientNetB0, MobileNet, and InceptionV3, demonstrate the effectiveness and robustness of the proposed framework. The models are evaluated using comprehensive performance metrics such as accuracy, precision, recall, F1-score, Matthews correlation coefficient (MCC), and area under the ROC curve (AUC).
The results show that DenseNet121 achieves the highest accuracy and AUC, while ResNet50 provides the most balanced and reliable predictions with the highest MCC. The findings emphasize that relying solely on accuracy is insufficient for forensic applications, where minimizing false negatives is critical. Overall, the proposed framework improves the visibility of manipulation artifacts and enhances classification robustness, making it suitable for real-world digital image forgery detection scenarios.
한국어 요약
📋 한 줄 요약
**[디지털 포렌식 / 위변조 검출]** 압축 차분(FDIFF) 특징과 전이학습 CNN을 결합하고 Youden Index 기반 적응형 임계값으로 신뢰도를 끌어올린 위변조 이미지 검출 프레임워크.
🎯 핵심 기여도
- 압축 인지(FDIFF) 특징과 RGB를 결합한 하이브리드 입력 표현 도입
- DenseNet121, VGG16, ResNet50, EfficientNetB0, MobileNet, InceptionV3 등 다양한 사전학습 CNN에 전이학습 적용
- Youden Index 기반 모델별 적응형 임계값 최적화로 TPR/FPR 균형 개선
- CASIA v2.0에서 종합 메트릭(정확도, 정밀도, 재현율, F1, MCC, AUC)을 통한 신뢰도 평가
💡 핵심 아이디어
위변조는 종종 “재압축 흔적”으로 미세하게 드러난다. 원본과 재압축 버전의 차분(FDIFF)이 그 흔적을 명시적으로 강조하므로, 이를 RGB와 함께 CNN에 입력하면 모델이 미세 단서를 효과적으로 학습할 수 있다. 또한 분류 임계값을 모델별로 Youden Index로 튜닝해 단일 고정 임계값의 한계를 극복한다.
🔬 기술적 접근법
- **입력 표현**: RGB + FDIFF(재압축 차분)를 결합한 하이브리드 멀티채널 입력
- **백본**: 사전학습 CNN을 전이학습하여 위변조 분류기로 미세조정
- **임계값 최적화**: Youden Index = (TPR − FPR) 최대화를 통한 모델별 적응형 임계값
- **평가**: CASIA v2.0 데이터셋에서 정확도, 정밀도, 재현율, F1, MCC, AUC, ROC, 혼동행렬
📊 주요 결과
- DenseNet121이 최고 정확도와 AUC 달성
- ResNet50이 가장 높은 MCC로 가장 균형 잡힌 예측
- 적응형 임계값으로 단순 0.5 컷오프 대비 신뢰성 향상
- 다양한 사전학습 모델을 공정 비교 가능한 일관 프레임워크 제공
💭 의의 및 한계
**의의**: 단일 모델/단일 표현에 의존하지 않고 “전이학습 + 압축 인지 특징 + 적응형 임계값”의 단순 조합으로 신뢰도 높은 위변조 검출이 가능함을 보여준다. **한계**: CASIA v2.0 등 클래식 데이터셋에 한정되며, 최신 생성 모델(GAN/Diffusion) 합성·딥페이크에 대한 강건성, 비-JPEG 압축이나 분야 외 입력에 대한 일반화는 추가 검증이 필요하다.
🚀 실용적 활용
- 디지털 포렌식 수사기관의 변조 의심 이미지 1차 스크리닝
- 언론·SNS 플랫폼의 콘텐츠 진위 검증 파이프라인
- 보험·법률 분야에서 디지털 증거의 무결성 평가