AV-FABLE: Audio-Visual Manipulation Forensics in Long-Form Videos

Localized AI manipulations in long-form videos often affect brief events within otherwise authentic content, making video-level classification insufficient for forensic analysis. Existing audio-visual deepfake benchmarks largely focus on short talking-head clips, while long-form temporal forensics remains predominantly visual. We introduce AV-FABLE, a dual-timeline benchmark for sparse manipulations in open-scene long-form audio-visual videos. AV-FABLE contains 16,650 pristine--manipulated twin pairs (998 hours) created with 27 editing configurations, with separate audio and visual timelines that enable modality-specific temporal localization and expose errors hidden by joint-timeline evaluation. On AV-FABLE, zero-shot prompting of audio-visual large language models (AV-LLMs) yields near-chance detection and poor temporal localization. In contrast, supervised readouts of their frozen perception features recover strong forensic signals, suggesting manipulation evidence is encoded in these representations but not effectively exposed through language outputs. Motivated by this observation, we propose NFSR(Native Forensics via Separated Readouts), which reads frozen AV-LLM features with separate audio and visual temporal decoders. NFSR achieves the best audio-visual localization performance in-domain and across all three out-of-distribution settings, including transfer to held-out videos from an external long-video forensic benchmark. AV-FABLE, code, and model weights will be publicly released.

한 줄 요약

AV-FABLE은 장시간 영상에서 오디오-비주얼 조작을 독립적으로 탐지하고 정량화하는 이중 타임라인 벤치마크와 NFSR이라는 분리된 타임라인 읽기 모델을 제안한다.

핵심 기여도

AV-FABLE: 16,650개의 원본-조작 쌍(998시간)을 포함한 장시간 영상 조작 탐지 벤치마크.
AV-LLMs(예: Qwen2.5-Omni, Qwen3-Omni)의 zero-shot 성능은 51–52 AUROC로 낮지만, 동결된 감지 특징은 90.8(AUROC, 오디오), 80.8(AUROC, 시각)의 강력한 신호를 보여준다.
NFSR: 오디오/비주얼 타임라인을 분리한 읽기 모델로, in-domain AV-mAP 91.30, detection AUROC 96.04 달성.
OOD(Out-of-Distribution) 환경에서도 최고 성능: TASLE 벤치마크로 전이 가능.

핵심 아이디어

기존 연구는 주로 짧은 대화형 클립에 집중했으며, 장시간 영상의 오디오-비주얼 조작은 이중 타임라인에서 독립적으로 발생할 수 있으나, 이를 정확히 탐지하기 위한 데이터셋과 모델이 부족했다. AV-FABLE은 이 문제를 해결하기 위해, 오디오와 비주얼 타임라인을 분리하여 각각의 조작 구간을 독립적으로 기록한 장시간 영상 벤치마크를 제시한다. 이는 조작이 오디오만, 비주얼만, 또는 둘 다 영향을 주는 경우를 구분하는 데 중요하다. 또한, AV-LLMs가 내부 표현에는 조작 신호를 포함하지만, 언어 기반 zero-shot 추론에서는 이를 효과적으로 노출하지 못한다는 점을 발견하고, 이를 해결하기 위해 NFSR이라는 분리된 타임라인 읽기 모델을 제안한다. NFSR은 중간층 특징과 인터페이스 특징을 결합하고, 호스트 영상 조건을 고려하여 오디오/비주얼 조작을 독립적으로 탐지한다.

기술적 접근법

**AV-FABLE 구성**: 27개의 편집 설정을 사용해 생성된 16,650개의 원본-조작 쌍, 평균 88초 길이, 조작 영역은 평균 9.45%.
**SEE-Forge**: 자연스러운 이벤트를 선택하고, 편집을 생성-삽입하는 파이프라인.
**NFSR 구조**: Qwen3-Omni의 동결된 감지 특징을 사용, 중간층 및 인터페이스 특징 결합, 호스트 조건 적용, 분리된 오디오/비주얼 디코더 사용.
**학습 설정**: 0.25초 해상도, 12에포크, AdamW 최적화(10⁻⁴ 학습률), 256차원 읽기 헤드.

주요 결과

**NFSR 성능**: in-domain AV-mAP 91.30, detection AUROC 96.04.
**기존 모델 대비 개선**: UMMAFormer(84.76 AV-mAP) 대비 6.54 포인트 상승.
**OOD 환경 성능**: TASLE 벤치마크로 전이 시에도 최고 AV-mAP 달성.
**AV-LLMs 성능**: zero-shot AUROC 51–52, mAP 0.30 미만. 동결 특징 기반 AUROC 90.8(오디오), 80.8(비주얼).

의의 및 한계

AV-FABLE은 장시간 영상의 이중 타임라인 조작 탐지를 위한 첫 벤치마크로, 기존 단일 타임라인 평가가 숨기는 오류를 드러내는 데 기여한다. NFSR은 AV-LLMs의 내부 표현을 효과적으로 활용하여, 분리된 타임라인 읽기 기법의 중요성을 입증한다. 그러나 AV-FABLE은 여전히 실제 세계 편집 과정, 매체 손상에 대한 내성을 개선할 필요가 있으며, 설명력 있는 증거 기반 추론 모델 개발이 다음 과제이다. 또한, NFSR은 특정 편집 설정에 최적화되어 일반화 능력 향상이 필요하다.

실용적 활용

AV-FABLE과 NFSR은 미디어 보안, 디지털 증거 분석, 언론 신뢰성 검증 등 장시간 영상 조작 탐지가 필요한 산업 및 연구 분야에 적용 가능하다. 특히, 법적 증거 검증, 디지털 포렌식, AI 생성 콘텐츠 감시 등에서 활용도가 높을 것으로 기대된다.