Venus-DeFakerOne: Unified Fake Image Detection & Localization

In recent years, the rapid evolution of generative AI has fundamentally reshaped the paradigm of image forgery, breaking the traditional boundaries between document editing, natural image manipulation, DeepFake generation, and full-image AIGC synthesis. Despite this shift toward unified forgery generation, existing research in Fake Image Detection and Localization (FIDL) remains fragmented. This creates a mismatch between increasingly unified forgery generation mechanisms and the domain-specific detection paradigm. Bridging this mismatch poses two key challenges for FIDL: understanding cross-domain artifacts transfer and interference, and building a high-capacity unified foundation model for joint detection and localization. To address these challenges, we propose DeFakerOne, a data-centric, unified FIDL foundation model integrating InternVL2 and SAM2. DeFakerOne enables simultaneous image-level detection and pixel-level forgery localization across diverse scenarios. Extensive experiments demonstrate that DeFakerOne achieves state-of-the-art performance, outperforming baselines on 39 forgery detection benchmarks and 9 localization benchmarks. Furthermore, the model exhibits superior robustness against real-world perturbations and state-of-the-art generators such as GPT-Image-2. Finally, we provide a systematic analysis of data scaling laws, cross-domain artifacts transfer-interference patterns, the necessity of fine-grained supervision, and the original resolution artifacts preservation, highlighting the design principles for scalable, robust, and unified FIDL.

📋 한 줄 요약

**[멀티모달 / 위변조 탐지]** 문서 편집·자연 영상 조작·딥페이크·AIGC 합성을 가리지 않고 영상 위변조 탐지와 픽셀 단위 위치 추정을 동시에 수행하는 통합 파운데이션 모델 DeFakerOne 제안.

🎯 핵심 기여도

위변조 생성은 통합되어 가는데 탐지(FIDL)는 도메인별로 파편화돼 있다는 mismatch를 명확히 제기.
InternVL2와 SAM2를 결합한 데이터 중심 통합 FIDL 파운데이션 모델 DeFakerOne 설계.
39개 위변조 탐지 벤치마크, 9개 위치 추정 벤치마크에서 SOTA 달성.
데이터 스케일링 법칙, 도메인 간 아티팩트 전이·간섭, 세밀 감독의 필요성, 원해상도 아티팩트 보존 등 설계 원칙을 체계적으로 분석.

💡 핵심 아이디어

탐지·위치 추정을 별도 도메인별 모델로 두는 대신, 멀티모달 LLM(InternVL2)의 의미 이해와 SAM2의 정밀 분할 능력을 결합해 영상 수준 판별과 픽셀 수준 마스크를 한 모델에서 동시 산출한다.

🔬 기술적 접근법

**모델/방법론**: InternVL2 + SAM2 기반 unified FIDL 파운데이션 모델, 데이터 중심 학습.
**핵심 기법**: 영상 수준 detection과 픽셀 수준 localization을 공동 학습, 도메인 간 아티팩트 전이·간섭 분석 기반 데이터 큐레이션, 원해상도 보존 입력으로 미세 아티팩트 유지.

📊 주요 결과

39개 forgery detection 벤치마크에서 SOTA, 9개 localization 벤치마크에서 SOTA.
GPT-Image-2 등 최신 생성기에 대한 견고성도 SOTA 수준.
실세계 perturbation에 대해서도 베이스라인 능가.

💭 의의 및 한계

**의의**: 위변조 생성 통합 추세에 대응하는 통합 탐지 패러다임을 제시해 차세대 콘텐츠 진위 검증 인프라의 가능성을 입증. **한계**: 거대 모델 결합으로 인한 추론 비용과 새로운 생성 모달리티(예: 비디오·3D) 일반화는 후속 과제.

🚀 실용적 활용

SNS·미디어 플랫폼의 통합 위변조 검출 백엔드.
신원·문서 인증 서비스에서의 편집·합성 탐지.
디지털 포렌식·법집행 기관의 영상 증거 분석 도구.