ReMMD: Realistic Multilingual Multi-Image Agentic Verification for Multimodal Misinformation Detection

Multimodal misinformation detection is increasingly important because viral posts now combine long multilingual narratives, several images, mixed provenance, and subtle text--image framing errors. Existing benchmarks and methods remain poorly matched to this setting: they usually isolate short captions, single images, binary labels, or one manipulation source, while agentic verification remains costly under realistic evidence search. We present ReMMD, a realistic multilingual multi-image agentic verification framework for multimodal misinformation detection. ReMMD includes ReMMDBench, a real-world multimodal misinformation detection benchmark with 500 samples, 2,756 images, five monolingual languages, two cross-lingual settings, three text-length tiers, multi-image posts, five-way veracity labels, eight distortion labels, evidence provenance, and rationales. It also includes ReMMD-Agent, a persistent-memory verifier that decomposes posts into atomic points, builds a reusable evidence set, and predicts structured L1/L2/L3 outputs. Across proprietary systems, open LVLMs, MMD-Agent, and T2-Agent, ReMMD-Agent obtains the best five-way veracity performance, with 41.80% accuracy and 39.12% macro-F1 using GPT-5.2, while reducing cost by 17.5% relative to MMD-Agent and 79.9% relative to T2-Agent. The project is available at https://dang-ai.github.io/ReMMD.

한 줄 요약

ReMMD는 현실적 다국어 다이미지 인증 기반의 다모달 허위정보 탐지 프레임워크로, ReMMDBench 벤치마크와 ReMMD-Agent 검증 시스템을 포함한다.

핵심 기여도

ReMMDBench: 500개 샘플, 2,756개 이미지, 다국어 5개, 5단계 진위 라벨, 8개 왜곡 라벨을 포함한 현실적 다모달 허위정보 탐지 벤치마크.
ReMMD-Agent: 지속 메모리 기반의 인증 에이전트로, GPT-5.2 기반 41.80% 정확도, 39.12% macro-F1 성능 달성.
비용 절감: MMD-Agent 대비 17.5%, T2-Agent 대비 79.9%의 비용 절감.
L1/L2/L3 구조적 출력 예측: 진위, 왜곡, 자연어 이론을 통합한 다차원 판단.

핵심 아이디어

기존 허위정보 탐지 연구는 짧은 캡션, 단일 이미지, 이진 라벨에 집중되어 있어 현실적인 다국어, 다이미지, 복합 텍스트-이미지 조합을 다루는 데 한계가 있었다. ReMMD는 이 문제를 해결하기 위해 **지속 메모리 기반의 에이전트**(ReMMD-Agent)를 도입하여, 포스트를 **원자적 클레임**(atomic points)으로 분해하고, **재사용 가능한 증거 집합**(evidence set)을 구축한 후, **구조적 L1/L2/L3 출력**(진위, 왜곡, 이론)을 예측한다. 이는 허위정보 검증을 **증거 선택 문제**(evidence selection problem)로 재정의하며, 단순 시각적 진위 판단을 넘어 **텍스트-이미지 관계, 왜곡 유형, 이론적 근거**를 종합적으로 평가하는 방식이다.

기술적 접근법

**ReMMDBench**: 다국어 5개(중국어, 영어, 베트남어, 인도네시아어, 태국어), 3단계 텍스트 길이, 2개의 교차 언어 설정, 5단계 진위 라벨, 8개 왜곡 라벨, 증거 출처, 이론 포함.
**ReMMD-Agent**:
**증거 선택**: 웹, 이미지, 소셜 증거를 검색.
**지속 메모리**: 증거를 저장하고 재사용.
**구조적 판단**: L1(진위), L2(왜곡), L3(이론) 예측.
**모델**: GPT-5.2, Qwen3.5-9B, Qwen3.6-27B 등 사용.
**비교 대상**: MMD-Agent, T2-Agent, 오픈소스 LVLMs 포함.

주요 결과

ReMMD-Agent는 GPT-5.2 기반으로 ReMMDBench에서 **41.80% 정확도**, **39.12% macro-F1** 성능 달성.
MMD-Agent 대비 **17.5%**, T2-Agent 대비 **79.9% 비용 절감**.
Qwen3.5-9B는 ReMMDBench에서 **Qwen3.6-27B보다 일부 지표에서 우수**.
ReMMDBench에서 **Qwen3.5-9B는 폐쇄형 에이전트보다 성능 우수**.

의의 및 한계

ReMMD는 기존 허위정보 탐지 연구의 단점을 보완하며, **다국어, 다이미지, 복합 텍스트-이미지 조합**을 현실적으로 평가할 수 있는 체계적인 프레임워크를 제시한다. 특히, **증거 기반의 다차원 판단**은 허위정보의 왜곡 유형과 이론적 근거를 명확히 파악하는 데 기여한다. 그러나, **모델 크기와 성능 간의 비선형 관계**(예: Qwen3.5-9B가 Qwen3.6-27B보다 일부 지표에서 우수)는 모델 설계에서 주의가 필요하며, **시간적 추적, 다국어 엔티티 링킹, 시각 편집 평가** 등은 아직 개선이 필요하다.

실용적 활용

ReMMD는 **언론, 사회관계망(SNS), 정부 기관** 등에서 다국어, 다이미지 허위정보를 실시간으로 검증하는 데 활용 가능하다. 특히, **지속 메모리 기반의 증거 재사용**은 검증 비용을 줄이며, **다차원 판단 구조**는 정확한 허위정보 진단과 이론적 근거 제공에 기여할 수 있다.