VDiff-Bench: A Challenging Benchmark for Fine-Grained Image Difference Identification

Multimodal Large Language Models (MLLMs) perform strongly on general visual understanding tasks such as visual question answering, yet they often struggle with a basic comparative skill: identifying what has changed between two similar images. We introduce VDiff-Bench, a challenging multiple-choice benchmark for fine-grained Image Difference Identification. VDiff-Bench contains 1,756 four-way questions over image pairs and covers 10 change categories: position, motion, regional image color, overall image color, appearance/disappearance, noise/resolution, texture, substitution/size, OCR/text, and illumination. Each question corresponds to two image inputs with 4 choices: the true difference, two hard negative descriptions, and a "no difference" distractor. To make the task challenging, we specifically curate ground-truth-conditioned negatives that require models to distinguish the actual change from nearby semantic alternatives. Experiments with 11 state-of-the-art open- and closed-source MLLMs show that fine-grained visual comparison remains brittle: models exhibit uneven performance across sources and change categories, with persistent failures on subtle low-level changes like noises and textures. For instance, three 7-8B-scale open-source MLLMs score 52.5-70.6% on semantic changes but only 8.7-33.3% on low-level changes like noise and texture, falsely assuming no changes between two image inputs. Surprisingly, despite strong performance of other closed-source commercial models, Grok 4.3 demonstrate remarkable performance drop on identifying noise and texture differences between images, falling significantly behind large open-source models like Kimi K2.5 and K3. Overall, VDiff-Bench provides a targeted diagnostic for evaluating comparative visual understanding in MLLMs, exposing failures that are not captured by standard single-image vision-language tasks.

한 줄 요약

VDiff-Bench는 MLLMs의 미세한 시각적 차이 인식 능력을 평가하기 위한 다중 선택형 벤치마크로, 10개의 변화 범주와 1,756개의 질문을 포함한다.

핵심 기여도

VDiff-Bench: 10개의 변화 범주(예: 텍스처, 노이즈)를 포함한 1,756개의 4중 선택 질문을 가진 새로운 IDI 벤치마크.
IDI를 다중 선택형(MCQ)으로 정의하여 확정적 점수 산출 가능.
11개의 MLLMs(예: Grok 4.3, Kimi K2.5)를 대상으로 범주별 성능 분석을 통해 세부적인 능력 격차를 밝혀냄.

핵심 아이디어

기존 MLLMs는 단일 이미지 이해에서 뛰어난 성능을 보이지만, 두 이미지 간 미세한 차이를 식별하는 능력은 여전히 취약하다. 이는 특히 저수준 변화(예: 노이즈, 텍스처)에서 두드러지며, 기존 벤치마크는 이러한 능력을 정확히 평가하지 못한다. VDiff-Bench는 이러한 문제를 해결하기 위해, 실제 변화와 유사한 부정답을 포함한 4중 선택형 문제를 통해 모델이 정확히 변화를 식별할 수 있는지 평가한다. 이는 단순히 정답률을 넘어, 오답 선택의 유형을 통해 모델의 인식 한계를 분석할 수 있다.

기술적 접근법

**데이터셋**: 1,543쌍의 이미지에서 유도된 1,756개의 4중 선택 질문.
**변화 범주**: 10개 (예: 텍스처, 노이즈, OCR/텍스트).
**평가 형식**: 각 질문은 1개의 정답, 2개의 어려운 부정답, 1개의 "변화 없음" 유혹 선택지로 구성.
**모델 평가**: 11개의 MLLMs(예: Grok 4.3, Kimi K2.5, Kimi K3)를 대상으로 범주별 정확도 분석.
**메트릭**: 정답 선택 정확도를 주요 평가 지표로 사용.

주요 결과

**.semantic 변화**: 3개의 7-8B 규모 오픈소스 모델(예: Qwen, Llama)은 52.5–70.6% 정확도.
**low-level 변화**: 동일 모델은 노이즈/텍스처 변화에서 8.7–33.3% 정확도, "변화 없음" 선택 비율 51.3–80.9%.
**Grok 4.3**: 노이즈 변화에서 5.3%, 텍스처 변화에서 15.3% 정확도로, Kimi K2.5(88.8%)에 크게 뒤처짐.
**Kimi K3**: 82.8%의 low-level 변화 정확도를 기록.

의의 및 한계

VDiff-Bench는 MLLMs의 비교 시각 이해 능력을 정확히 평가하는 새로운 진단 도구로, 기존 단일 이미지 기반 벤치마크가 포착하지 못한 취약점을 드러낸다. 특히, 모델의 규모가 늘어난다고 해서 저수준 변화 인식 능력이 자동적으로 향상되지 않는다는 점을 밝혀내며, 학습 데이터와 시각 인코딩 방식의 중요성을 강조한다. 한계로는, VDiff-Bench는 4중 선택형 평가만 제공하므로, 모델이 변화를 정확히 설명하는 능력을 평가하지 못한다는 점이 있다.

실용적 활용

VDiff-Bench는 이미지 편집, 비디오 생성, 생성 모델의 보상 학습 등에서 정확한 변화 인식이 필요한 분야에서 모델 평가에 활용될 수 있다. 특히, 생성된 이미지와 원본 간의 차이를 정확히 파악해야 하는 의료 영상 분석, 디자인 검증, 보안 감시 시스템 등에 적용 가능하다.