Seeing Is Not Sharing: Some Vision-Language Models Overestimate Common Ground in Asymmetric Dialogue

In collaborative dialogue, shared perception does not guarantee shared interpretation. Mutual understanding must be established through interaction. We investigate whether vision-language models (VLMs) can distinguish what could be shared from what has been shared between dialogue participants through grounding. We formulate this as an interpretation-matching task on 13,077 annotated reference expressions from HCRC MapTask dialogues, and evaluate VLMs under systematically controlled manipulations of dialogue context and map-information access. Our results show that providing authentic map images improves overall performance but shifts models toward over-predicting alignment. Textual descriptions of the same map content reproduce this bias, while non-informative images suppress alignment predictions entirely, indicating that the bias is driven by task-relevant map content, not the visual channel. This improvement comes at the cost of degraded accuracy on non-aligned cases. Calibration analysis and reference-chain tracking further suggest that models rely on static referential cues on the maps rather than tracking how grounding unfolds through dialogue history. We observe these patterns most clearly in Qwen3-VL-8B-Instruct and, to varying degrees, in four additional models from two architecture families. In models that exhibit the bias, map content, whether presented visually or textually, is treated as evidence of mutual understanding, conflating potential with established common ground.

한 줄 요약

Qwen3-VL-8B-Instruct 등 일부 VLM이 비대칭 대화에서 공통 지식을 과도하게 추정하는 경향을 밝혀냄.

핵심 기여도

HCRC MapTask 대화에서 13,077개의 참조 표현을 기반으로 해 해석 일치(interpretation matching) 태스크를 정의.
Qwen3-VL-8B-Instruct 모델이 지도 이미지나 텍스트 제공 시 일치를 과도하게 예측(over-predicting alignment)함을 밝힘.
비정보적인 이미지(예: 빈 지도)는 일치 예측을 억제함을 통해, 편향은 시각 채널이 아닌 지도 내용에 기인함을 입증.
참조 체인 추적과 교정 분석을 통해 모델이 대화 히스토리보다 정적 참조 단서에 의존함을 밝힘.

핵심 아이디어

대화에서 공통 지식(common ground)은 단순한 공유 가능성(potential)이 아닌, 실제 대화 과정을 통해 점진적으로 구축되는 과정(grounding)을 통해 확립된다. 본 연구는 VLM이 이 구별을 할 수 있는지, 즉 "공유될 수 있는 것"과 "실제로 공유된 것"을 구분할 수 있는지 탐구한다.

기존 연구는 시각 정보가 해석 일치를 촉진한다고 가정했지만, 본 연구는 Qwen3-VL-8B-Instruct 모델이 지도 이미지나 텍스트를 제공받으면, 단순히 동일한 참조 대상이 존재한다고 해서 해석이 일치한다고 판단하는 경향을 보인다는 점에서 새로운 통찰을 제시한다. 이는 모델이 정적 참조 단서(static referential cues)에 지나치게 의존하며, 대화 히스토리에서 점진적인 grounding 과정을 추적하지 못함을 의미한다.

기술적 접근법

**데이터셋**: HCRC MapTask 대화에서 13,077개의 참조 표현을 기반으로 해석 일치 태스크를 정의.
**평가 조건**: 대화 맥락의 양과 지도 정보 제공 유형(실제 지도, 텍스트 설명, 비정보적 이미지)을 체계적으로 조절.
**모델**: Qwen3-VL(2B, 4B, 8B)와 Gemma3(4B, 12B) 모델을 사용. Qwen3-VL-8B-Instruct가 주요 분석 대상.
**평가 지표**: 정확도, F1, 클래스별 재현율, yes-rate(일치 예측 비율).
**분석 방법**: 토큰 레벨 로짓을 사용한 교정 분석, grounding 상태별 성능 분해, 참조 체인 추적.

주요 결과

Qwen3-VL-8B-Instruct 모델에서 실제 지도 이미지 제공 시 정확도는 개선되지만, yes-rate가 증가함 (일치 예측 과도).
동일한 지도 내용을 텍스트로 제공해도 동일한 편향이 재현됨.
비정보적 이미지(예: 빈 지도)는 일치 예측을 억제함.
Qwen3-VL-2B는 ECE(예측 불확실성)가 0.144로 가장 낮아 교정 성능이 우수.
Qwen3-VL-4B는 2B보다 정확도가 낮고, Gemma-3-12B는 정확도 0.416로 가장 낮음.
반복 언급 시 일치 예측 확률이 증가함.

의의 및 한계

본 연구는 VLM이 대화에서 공통 지식을 판단할 때, 단순한 참조 가능성(potential)을 실제 공유(common ground)로 오인하는 경향을 밝혀내며, 모델이 대화 히스토리에서 점진적인 grounding 과정을 추적하지 못함을 입증한다. 이는 대화 모델의 신뢰성과 정확도에 중요한 시사점을 제공한다.

한편, 실험은 단일 도메인(지도 탐색)의 overhearer 설정에 국한되었으며, 모델이 직접 질문하거나 판단을 수정할 수 있는 상호작용 설정에서의 성능은 검증되지 않았다. 또한, 편향이 특정 모델 아키텍처나 데이터에 의존하는지에 대한 메커니즘 분석은 추가 연구가 필요하다.

실용적 활용

지도 기반 협업 대화 시스템, 멀티모달 챗봇, 또는 인간-로봇 협업 환경에서 모델이 실제 공유된 정보를 정확히 파악하지 못하면 오해와 실수를 유발할 수 있다. 본 연구는 이러한 문제를 진단하고, 대화 히스토리 기반 grounding 추적 기법을 개발하는 데 기초 자료를 제공한다.