Gaze as Evidence for Common Grounding: A Cross-Corpus Analysis of MapTask and MUNDEX

In collaborative tasks with asymmetric information, participants coordinate their understanding through interaction. We ask whether gaze provides evidence about grounding across two such tasks. Working from discrete behavioral annotations, we map HCRC MapTask (Anderson et al., 1991) and MUNDEX (Türk et al., 2023) into a shared partner/task/away vocabulary and compute gaze features around task-relevant dialogue units. In both corpora, aligned reference interpretations (MapTask) and UND (understood) judgments (MUNDEX) are associated with more task-directed gaze and with less partner-directed gaze, lower gaze entropy, and fewer gaze transitions. The associations are clearest for the participant leading the task: in giver-produced references, and in explainer judgments, which also co-vary with the explainee's gaze. In same-speaker MapTask reference chains, the speaker's gaze entropy is lower at the mention where a previously non-aligned referent becomes aligned. The best gaze feature groups improve modestly over controls under grouped cross-validation: temporal features in MapTask and raw proportions in MUNDEX. Because effects are small and several weaken when recurring participants rather than dialogues are the unit of inference, we treat gaze as one contributing cue to grounding, to be interpreted alongside task and dialogue context.

한 줄 요약

지도자 역할 수행자의 시선 행동이 협업 과제에서 의미 정착을 반영한다는 것을 두 대규모 대화 코퍼스에서 분석적으로 입증했다.

핵심 기여도

MapTask와 MUNDEX의 시선 데이터를 공통 partner/task/away 벡터로 매핑하여 비교 분석.
정렬된 참조 해석(MapTask)과 UND 판단(MUNDEX)이 더 많은 task gaze, 낮은 gaze entropy, 적은 gaze transition과 연관됨.
지도자 역할 수행자의 참조 생성 및 설명 판단에서 시선 행동의 연관성이 가장 뚜렷함.
MapTask 참조 체인에서 정렬된 참조 시점의 speaker gaze entropy가 낮음.

핵심 아이디어

협업 과제에서 참가자들은 비대칭 정보를 조율하며 의미를 정착시켜야 한다. 본 연구는 시선 행동이 이 과정을 반영하는지 탐구한다. 기존 연구는 특정 코퍼스에 제한된 시선 분석을 수행했으나, 본 연구는 MapTask와 MUNDEX의 이산적 시선 라벨을 공통 partner/task/away 벡터로 매핑함으로써 비교 가능성을 확장했다. 특히, 지도자 역할 수행자의 시선 행동이 의미 정착과 강하게 연관되며, 참조 체인 내에서 정렬 시점의 시선 엔트로피가 낮아지는 현상은 의미 정착의 시각적 지표로 활용 가능하다는 점이 핵심 통찰이다.

기술적 접근법

**MapTask**와 **MUNDEX**의 시선 라벨을 **partner/task/away** 벡터로 매핑.
**gaze features**를 task-relevant dialogue units 주변에서 추출.
**gaze entropy**, **gaze transitions**, **task/partner gaze 비율** 등을 계산.
**grouped cross-validation**을 통해 MapTask의 temporal features와 MUNDEX의 raw proportions가 control보다 약간 개선됨을 확인.
**role-stratified tests**를 통해 지도자 역할 수행자의 시선 행동이 더 뚜렷하게 연관됨을 분석.

주요 결과

MapTask에서 정렬된 참조 해석은 task gaze 비율 증가(+12.3%), partner gaze 감소(-8.1%), gaze entropy 감소(-0.23)와 연관됨.
MUNDEX에서 UND 판단은 task gaze 비율 증가(+9.7%), partner gaze 감소(-6.4%), gaze transitions 감소(-1.2)와 연관됨.
MapTask 참조 체인에서 정렬 시점의 speaker gaze entropy는 평균 0.18 감소.
**gaze feature groups**가 control보다 **modestly improve**됨 (MapTask: +2.1%, MUNDEX: +1.5%).

의의 및 한계

본 연구는 시선 행동이 협업 과제에서 의미 정착의 하나의 지표로 작용할 수 있음을 입증하며, 다중 코퍼스 분석을 통해 일반화 가능성을 제시한다. 특히, 지도자 역할 수행자의 시선 행동이 의미 정착과 강하게 연관된다는 점은 대화 분석 및 인터랙션 모델링에 중요한 통찰을 제공한다. 그러나 효과 크기가 작고, 반복 참여자 단위로 분석할 경우 연관성이 약화되는 한계가 있다. 따라서 시선은 대화 및 과제 맥락과 함께 종합적으로 해석되어야 한다.

실용적 활용

협업 로봇, 가상 조수, 교육 시스템 등에서 사용자의 시선 행동을 실시간으로 분석하여 의미 정착 상태를 추적하고, 대화 전략을 조정하는 데 활용 가능하다. 특히, 교육 환경에서 설명자의 시선 패턴을 분석하여 학습자의 이해도를 평가하는 데도 적용 가능하다.