Continuously Evolving Deepfake Detection: An Architecture and Public-Benchmark Evaluation of a Dynamic Detection System

Deepfake detectors that achieve near-perfect scores on academic benchmarks collapse on real-world content: recent in-the-wild evaluations report AUC drops of 45-50% for state-of-the-art open-source models. We argue this gap is structural: static detectors are trained once against a moving generative frontier. We present BitMind Forensics (BMF), trained through Bittensor SN34, an open adversarial competition that continually refreshes the training distribution. We evaluate one dated export comprising image, general-video, and human-video checkpoints across nineteen public datasets: the canonical face-swap suites (FaceForensics++, Celeb-DF v1/v2/++, DFDC, DFD, UADFV, DF40) and recent in-the-wild and AI-generated-media benchmarks (Sumsub, Deepfake-Eval-2024, WildRF, Community Forensics, AIGCDetectBench, GenImage, AI-GenBench, AIGIBench, RAID, GenVidBench, GenVideo-100K). BMF reaches 0.936 AUC on Sumsub's original images and 0.872 pooled AUC over its full four-condition manipulation battery (1.4M images), staying robust under perturbation (0.855 JPEG, 0.799 downscaled), while GPEN enhancement improves detection (0.996). On Deepfake-Eval-2024, it matches the best commercial detector on images (0.915 vs 0.90) and exceeds it on video (0.822 vs 0.79), far above the best open-source detectors (0.56 and 0.63). It reaches 0.991 AUC on a 21-generator AI-image panel and 0.918 on GenVidBench, and exceeds the FF++-trained frontier on DFDC (0.947 vs 0.843) and Celeb-DF v2 (0.9985 vs 0.956), both contamination-audited, with statistical parity on Celeb-DF++. In a temporal study, successive dated exports improve on held-out media from generators absent from the static baseline's training (image 0.842 to 0.902; video 0.864 to 0.936). Our evaluation harness is public, and at publication the production API serves the exact evaluated snapshot for independent verification.

한 줄 요약

BitMind Forensics(BMF)는 Bittensor SN34의 오픈 경쟁을 통해 지속적으로 업데이트되는 딥페이크 탐지 시스템으로, Sumsub에서 0.936 AUC를 달성한다.

핵심 기여도

BMF는 Bittensor SN34라는 오픈 경쟁 메커니즘을 통해 지속적으로 훈련되는 딥페이크 탐지 시스템으로, 정적 모델과 달리 생성 기술의 변화에 적응한다.
2026년 4월 15일 기준 BMF는 Sumsub에서 0.936 AUC (원본 이미지), 0.872 AUC (전체 조작 배터리)를 달성하며, JPEG 압축(0.855) 및 GPEN 향상(0.996)에도 강건하다.
Deepfake-Eval-2024에서 영상 분야에서 상용 모델(0.79)을 초과한 0.822 AUC를 기록하며, DFDC(0.947 vs 0.843) 및 Celeb-DF v2(0.9985 vs 0.956)에서도 기존 모델을 능가한다.
시간적 연구에서 2026년 4월의 BMF는 2025년 11월 모델 대비 이미지(0.842 → 0.902), 영상(0.864 → 0.936)에서 AUC가 각각 6.0, 7.2 포인트 개선된다.

핵심 아이디어

기존 딥페이크 탐지 모델은 고정된 데이터셋으로 훈련되어 생성 기술의 빠른 변화에 대응하지 못한다. BMF는 이 문제를 해결하기 위해 Bittensor SN34라는 오픈 경쟁 메커니즘을 도입한다. 이 메커니즘은 생성자(miner)와 판별자(miner)가 경쟁하며, 생성자는 최신 생성 모델을 제공하고, 판별자는 이를 분류하는 탐지 체크포인트를 제출한다. 이 과정은 시스템 수준에서 온라인 적대적 훈련을 구현하며, 새로운 생성 모델이 등장하면 4시간 주기로 도전 세트가 갱신된다. 결과적으로, BMF는 정적 체크포인트임에도 불구하고, 훈련 분포가 생성 기술의 변화를 반영하여 지속적으로 업데이트된다.

기술적 접근법

BMF는 1.11B 파라미터의 이미지 앙상블과 별도의 영상 체크포인트로 구성된 이질적 앙상블 모델이다. 훈련은 Bittensor SN34라는 오픈 경쟁 메커니즘을 통해 이루어지며, 생성자(miner)는 최신 생성 모델을 제공하고, 판별자(miner)는 탐지 체크포인트를 경쟁적으로 제출한다. BMF는 2026년 4월 15일 기준 단일 체크포인트로 평가되며, 각 체크포인트의 softmax P(fake) 출력에 대해 0.5의 고정 임계값을 사용한다. 훈련 분포는 생성 기술의 변화를 반영하며, 시간이 지날수록 더 최신 데이터를 포함하게 된다.

주요 결과

Sumsub에서 BMF는 원본 이미지에서 0.936 AUC, 전체 조작 배터리(1.4M 이미지)에서 0.872 AUC를 달성하며, JPEG 압축(0.855) 및 GPEN 향상(0.996)에도 강건하다.
Deepfake-Eval-2024에서 BMF는 영상 분야에서 상용 모델(0.79)을 초과한 0.822 AUC를 기록하며, 이미지 분야에서는 0.915 AUC를 달성한다.
21개 생성기 AI 이미지 패널에서 0.991 AUC, GenVidBench에서 0.918 AUC를 달성한다.
DFDC(0.947 vs 0.843), Celeb-DF v2(0.9985 vs 0.956)에서 기존 모델을 능가하며, 시간적 연구에서 2026년 4월 모델이 2025년 11월 모델 대비 이미지(0.842 → 0.902), 영상(0.864 → 0.936)에서 각각 6.0, 7.2 포인트 개선된다.

의의 및 한계

BMF는 딥페이크 탐지의 핵심 문제인 정적 모델의 낡음 문제를 해결하기 위한 새로운 접근법을 제시한다. 기존 모델은 고정된 데이터셋으로 훈련되어 생성 기술의 변화에 대응하지 못하지만, BMF는 오픈 경쟁 메커니즘을 통해 지속적으로 훈련 분포를 갱신하여 탐지 성능을 유지한다. 그러나 BMF는 모델 가중치를 공개하지 않아 완전한 재현이 어렵고, 일부 조건에서는 높은 오류율(예: Deepfake-Eval-2024 영상 트랙에서 1% FPR 시 24% 재현율)이 나타난다. 또한, BMF는 단일 체크포인트로 평가되므로, 지속적인 훈련 과정의 세부 알고리즘은 명시되지 않는다.

실용적 활용

BMF는 딥페이크 탐지가 필요한 정부, 언론, 보안 산업에서 실용적으로 활용될 수 있다. 특히, 생성 기술이 빠르게 변화하는 환경에서 지속적인 모델 업데이트가 필요한 상황에 적합하며, 공개된 평가 허브와 API를 통해 독립적인 검증이 가능하다.