EviScene: Beyond "Is It AI?" for Agentic Image Factuality Assessment

Determining whether an image is AI-generated does not establish whether the situation it depicts is factually supported. We formulate Image Factuality Assessment: given an image and a generic verification instruction, a system returns a supported or refuted verdict with an evidence-grounded explanation. Without a supplied textual claim, the system must progressively refine factual questions during investigation and align external evidence with the specific situation depicted. We introduce EviLens, an expert-reviewed benchmark of 10,174 supported and refuted images from controlled construction and web collection, covering twelve factual error types and evaluating both verdict accuracy and evidence sufficiency. We develop EviScene, a multimodal ReAct agent that interleaves visual inspection, external retrieval, and evidence analysis, using new findings to refine its questions and revisit relevant image details. We train a compact policy with supervised fine-tuning on reviewed teacher trajectories, followed by privileged on-policy self-distillation applied to verified decisions from the policy's own investigations. On the 1,527-image test set, the trained Qwen3.5-9B agent achieves 79.05% balanced accuracy and a Strict Evidence Sufficiency Rate (SESR) of 52.26%, improving over the same-backbone base agent by 6.71 and 9.37 percentage points, respectively. Its SESR is the highest among the evaluated agents.Code, models, and data will be released at https://github.com/wangzian828/EVISCENE and https://huggingface.co/ZiAnwang/EviScene.

한 줄 요약

EviScene은 시각적 사실성 평가를 위해 외부 증거와 이미지 분석을 결합한 ReAct 기반 멀티모달 에이전트로, 79.05%의 정확도와 52.26%의 증거 충분률을 달성했다.

핵심 기여도

**Image Factuality Assessment**라는 새로운 평가 프레임워크를 제안하고, **EviLens**라는 10,174개 이미지로 구성된 전문가 검토형 벤치마크를 소개.
**EviScene**이라는 ReAct 기반 멀티모달 에이전트를 개발, 시각 분석, 외부 검색, 증거 분석을 통합.
**Qwen3.5-9B** 기반 에이전트는 1,527개 테스트 이미지에서 79.05%의 balanced accuracy와 52.26%의 Strict Evidence Sufficiency Rate (SESR)를 달성.
**SFT + PSD** 기반의 정책 학습 방식을 제안, 자체 조사에서 검증된 결정을 기반으로 정책을 정제.

핵심 아이디어

기존 연구는 이미지가 AI 생성인지 여부를 판단하는 데 초점을 맞추었으나, 이 연구는 이미지가 묘사하는 상황이 사실인지 여부를 평가하는 **Image Factuality Assessment**라는 새로운 문제를 정의했다.
EviScene은 **ReAct (Reasoning + Acting)** 프레임워크를 기반으로, 시각 분석, 외부 검색, 증거 분석을 반복적으로 결합하여 **증거 기반의 판단**을 도출한다.
특히, 주어진 이미지에 대한 **초기 시각적 검사만으로는 충분하지 않기 때문에**, 에이전트는 새로운 정보를 바탕으로 질문을 정제하고, 관련 이미지 영역을 재검토한다.
이를 통해 **증거의 충분성**과 **판단의 정확도**를 동시에 평가하는 새로운 평가 체계를 구축했다.

기술적 접근법

**EviScene**은 **ReAct 기반 멀티모달 에이전트**로, 시각 분석, 외부 검색, 증거 분석을 순차적으로 수행.
**Qwen3.5-9B** 모델을 기반으로, **Supervised Fine-Tuning (SFT)**을 통해 전문가가 검토한 teacher trajectories를 학습.
이후, **Privileged On-Policy Self-Distillation (PSD)**을 적용하여, 정책 자체의 조사에서 검증된 결정을 기반으로 정책을 정제.
**Web search**, **image retrieval**, **evidence inspection** 세 가지 도구를 사용하며, 각 단계에서 **structured observations**를 생성.
**Serper** API를 활용한 외부 검색, **reverse-image retrieval**, **page inspection** 등을 포함한 도구 세트를 사용.
**Balanced Accuracy (BAcc)**와 **Strict Evidence Sufficiency Rate (SESR)**를 주요 평가 지표로 사용.

주요 결과

**1,527개 이미지**로 구성된 EviLens 테스트 세트에서, Qwen3.5-9B 기반 EviScene은 **79.05%의 balanced accuracy**와 **52.26%의 SESR**을 달성.
이는 동일한 백본을 사용한 기존 기반 에이전트 대비 **6.71% 포인트**와 **9.37% 포인트** 개선.
**SESR**은 평가된 모든 에이전트 중 가장 높은 수치.
**Web search**, **image retrieval**, **evidence inspection** 중 하나라도 제거하면, BAcc와 SESR 모두 하락.

의의 및 한계

EviScene은 단순히 이미지가 AI 생성인지 여부를 판단하는 것을 넘어, **이미지가 묘사하는 상황의 사실성**을 외부 증거와 비교하여 평가하는 새로운 접근법을 제시한다.
이 연구는 **증거 기반 시각적 사실성 평가**의 기초를 마련하며, **다양한 이미지 생성자와 출처**에 대한 평가도 가능하게 한다.
그러나, **증거의 질**이나 **검색 도구의 한계**는 여전히 성능에 영향을 줄 수 있으며, **복잡한 시공간 맥락**을 다루는 데에는 추가 연구가 필요하다.

실용적 활용

EviScene은 **미디어 사실성 검증**, **사회적 이슈 이미지 분석**, **AI 생성 이미지 감시** 등에 활용 가능하다.
특히, **사전에 텍스트 클레임이 주어지지 않은 상황**에서, 시각적 콘텐츠의 사실성을 자동으로 평가할 수 있어, **팩트체크 플랫폼**이나 **신문사**에서 유용하게 사용될 수 있다.