Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models

Large language models (LLMs) and vision-language models (VLMs) have demonstrated remarkable performance across a wide range of tasks and domains. Despite this promise, spatial understanding and reasoning -- a fundamental component of human cognition -- remains under-explored. We propose SpatialEval, a novel benchmark that covers diverse aspects of spatial reasoning such as relationship understanding, navigation, and counting. We conduct a comprehensive evaluation of competitive language and vision-language models. Our findings reveal several counter-intuitive insights that have been overlooked in the literature: (1) Spatial reasoning poses significant challenges where competitive models can fall behind random guessing; (2) Despite additional visual input, VLMs often under-perform compared to their LLM counterparts; (3) When both textual and visual information is available, multi-modal language models become less reliant on visual information if sufficient textual clues are provided. Additionally, we demonstrate that leveraging redundancy between vision and text can significantly enhance model performance. We hope our study will inform the development of multimodal models to improve spatial intelligence and further close the gap with human intelligence.

한 줄 요약

시공간 추론 능력을 평가하기 위한 새로운 벤치마크 SpatialEval을 제안하고, LLM과 VLM의 성능을 비교 분석한다.

핵심 기여도

SpatialEval이라는 새로운 벤치마크를 제안하여 관계 이해, 탐색, 카운팅 등 다양한 공간 추론 태스크를 평가함.
일부 모델이 무작위 추측보다도 낮은 성능을 보이는 등 공간 추론이 큰 도전 과제임을 밝힘.
VLM이 시각 정보만 제공될 때 LLM보다 성능이 낮고, 텍스트 정보가 제공되면 시각 정보에 대한 의존도가 줄어드는 현상을 발견함.
텍스트와 이미지 간의 중복성을 활용하면 모델 성능이 크게 향상됨을 보임.

핵심 아이디어

현재의 LLM과 VLM은 다양한 태스크에서 뛰어난 성능을 보이지만, 인간의 인지 능력 중 핵심인 공간 추론 능력은 여전히 미비하다는 점에서 연구의 필요성이 제기된다. 저자들은 SpatialEval이라는 새로운 벤치마크를 통해 공간 추론 능력을 체계적으로 평가하고, VQA, TQA, VTQA 세 가지 입력 조건에서 모델의 성능을 비교한다. 특히, 텍스트 정보가 충분히 제공될 경우, 멀티모달 모델이 시각 정보에 대한 의존도를 줄이는 경향을 발견함으로써, 텍스트가 공간 추론에서 핵심적인 역할을 한다는 통찰을 제시한다. 이는 기존 VLM이 시각 정보를 단순히 언어 공간으로 "번역"하는 방식에 한계가 있음을 시사한다.

기술적 접근법

**SpatialEval 벤치마크**: Spatial-Map, Maze-Nav, Spatial-Grid, Spatial-Real의 4가지 태스크로 구성됨.
**입력 조건**: VQA (이미지 + 질문), TQA (텍스트 + 질문), VTQA (이미지 + 텍스트 + 질문)의 세 가지 조건에서 평가.
**평가 대상 모델**: 다양한 오픈소스 및 프로퍼티어리 LLM과 VLM을 포함한 경쟁 모델.
**분석 포인트**: 시각 정보에 대한 의존도, 텍스트 정보의 영향, 모델 간 성능 차이.

주요 결과

**Maze-Nav 태스크에서 일부 VLM이 무작위 추측 수준보다 낮은 성능을 보임**.
**VQA 조건에서 VLM이 LLM보다 낮은 성능을 보임**.
**VTQA 조건에서 텍스트 정보가 충분하면 모델이 시각 정보에 대한 의존도가 감소함**.
**TQA 조건에서 VLM이 LLM보다 높은 성능을 보임**.
**텍스트와 이미지 간의 중복성을 활용하면 모델 성능이 향상됨**.

의의 및 한계

이 연구는 VLM이 인간 수준의 공간 추론 능력을 갖추기 위해서는 기존의 "번역" 방식을 넘어서, 시각 정보를 첫 번째 수준의 입력으로 다루는 새로운 아키텍처가 필요하다는 점을 강조한다. 또한, 텍스트 정보가 공간 추론에서 핵심적인 역할을 한다는 점을 밝혀, 향후 멀티모달 모델 설계에 중요한 통찰을 제공한다. 그러나 본 연구는 특정 벤치마크와 제한된 모델 집합을 기반으로 하므로, 보다 다양한 데이터와 모델에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

이 연구는 로봇, 자율 주행, AR/VR 등 시각 정보와 텍스트 정보를 동시에 처리해야 하는 산업 분야에서 모델 설계에 중요한 지침을 제공한다. 특히, 텍스트 정보가 공간 추론에 큰 영향을 미친다는 점을 고려하면, 텍스트 기반의 공간 정보 추출 및 통합 기술 개발에 활용될 수 있다.