Artifact-Bench: Evaluating MLLMs on Detecting and Assessing the Artifacts of AI-Generated Videos

Recent video generative models have greatly improved the realism of AI-generated videos, yet their outputs still exhibit artifacts such as temporal inconsistencies, structural distortions, and semantic incoherence. While Multimodal Large Language Models (MLLMs) show strong visual understanding capabilities, their ability to perceive and reason about such artifacts remains unclear. Existing benchmarks often lack systematic evaluation of artifact-aware perception and fine-grained diagnostic reasoning, especially across diverse AI-generated video domains beyond photorealistic content. To address this gap, we introduce Artifact-Bench, a comprehensive benchmark for evaluating MLLMs on AI-generated video artifact detection and analysis. We first establish a three-level hierarchical taxonomy of realism artifacts, covering photorealistic, animated, and CG-style videos. Based on this taxonomy, Artifact-Bench defines three complementary tasks: real vs. AI-generated video classification, pairwise realism comparison, and fine-grained artifact identification. Experiments on 19 leading MLLMs reveal substantial limitations in artifact perception and reasoning, with many models approaching random or even below-random performance in challenging settings. We further observe significant misalignment between MLLM judgments and human perceptual preferences, highlighting their limited reliability as general evaluators for AI-generated video realism.

📋 한 줄 요약

**[AI 생성 비디오 / MLLM 평가]** AI 생성 비디오의 시간·구조·의미 아티팩트 탐지 능력을 체계적으로 평가하는 최초의 벤치마크 Artifact-Bench 제안.

🎯 핵심 기여도

비디오 생성 모델이 사실성을 크게 끌어올렸지만 여전히 시간 불일치·구조 왜곡·의미 비일관성 같은 아티팩트가 남아 있고, MLLM이 이를 인지·추론할 수 있는지가 불분명하다는 문제 진단.
기존 벤치마크가 photorealistic 콘텐츠 외 도메인에서 아티팩트 인지·세분화 진단 추론을 체계적으로 평가하지 않는다는 공백 식별.
사실성 아티팩트의 3단계 위계 분류체계 구축: photorealistic, animated, CG-style 비디오 포괄.
이를 바탕으로 세 가지 보완 태스크 정의: real vs AI-generated 분류, 사실성 쌍별 비교, fine-grained 아티팩트 식별.

💡 핵심 아이디어

"비디오 아티팩트 평가"는 단순 진위 분류가 아니라 어떤 종류·어떤 위계·어떤 도메인의 아티팩트인지까지 세분화해야 모델의 실제 진단 추론 능력을 측정할 수 있다.

🔬 기술적 접근법

**모델/방법론**: 3단계 위계 아티팩트 분류체계 + 3종 평가 태스크로 구성된 Artifact-Bench.
**핵심 기법**: photorealistic/animated/CG-style 도메인 분리, 분류·쌍별 비교·세분화 식별 태스크로 능력 분해, 19개 프론티어 MLLM 동일 프로토콜 평가.

📊 주요 결과

19개 프론티어 MLLM 평가에서 아티팩트 인지·추론 능력에 큰 한계 확인.
도전적 설정에서 다수 모델이 random 또는 그 이하 성능에 근접.
MLLM 판단과 인간 지각 선호 간의 상당한 불일치 관찰.

💭 의의 및 한계

**의의**: AI 생성 비디오 사실성을 측정하는 평가자로서 MLLM의 신뢰성에 의문을 제기하고, 다양한 비디오 스타일을 포괄하는 진단 도구 제공. **한계**: 평가 도메인이 위계 분류 내부에서도 특정 스타일에 치우칠 수 있으며, 새 생성 모델 등장 시 분류체계 갱신 필요.

🚀 실용적 활용

콘텐츠 모더레이션 시스템의 AI 생성 비디오 탐지 진단.
비디오 생성 모델 개발팀의 인지 평가 도구.
MLLM을 평가자로 활용하기 전 신뢰성 검증 프로토콜.