SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?

Spatial intelligence requires agents to actively acquire visual evidence and integrate observations into a coherent representation of the three-dimensional world. Yet spatial question answering offers limited evidence of whether models can construct accurate metric maps through autonomous exploration. We introduce SpatialScout, a benchmark for evaluating vision-language model (VLM) agents on active object-level 3D mapping. SpatialScout comprises 80 diverse indoor scenes containing 3,140 target objects. Given an object inventory, RGB observations, camera calibration, and camera poses, agents control a camera to explore each scene and estimate object centers in a shared coordinate frame. The task requires coordinating viewpoint selection, cross-view association, geometric estimation, and map revision under bounded interaction budgets. Evaluation jointly measures localization accuracy and target coverage through object-scale overlap scores that penalize missing predictions. Experiments with frontier VLMs reveal substantial limitations: the strongest evaluated model, Claude Opus 5.5, achieves a mean overlap score of 41.71%, with 47.23% of targets exceeding an intersection-over-union (IoU) threshold of 0.5 and only 3.25% exceeding 0.9. These results reveal a substantial gap between recovering coarse object layouts and constructing complete, precise metric maps. SpatialScout provides a quantitative testbed for developing agents that build reliable 3D spatial representations through active perception. Code is available at https://github.com/JesseZZZZZ/SpatialScout.

한 줄 요약

SpatialScout는 VLM 에이전트가 3D 장면을 자율 탐색하고 정확한 지도를 생성하는 능력을 평가하는 벤치마크이다.

핵심 기여도

SpatialScout 벤치마크를 제안하여 VLM 에이전트의 3D 공간 인지 능력을 평가.
80개의 실내 장면, 3,140개의 타겟 객체를 포함한 데이터셋 제공.
Claude Opus 5.5 모델이 평균 IoU 41.71%에 머무르며, 0.9 IoU를 넘는 타겟은 3.25%에 불과함을 밝힘.
지도 생성 과정에서 뷰포인트 선택, 크로스뷰 연관, 기하 추정, 지도 수정이 필요함을 명시.

핵심 아이디어

기존 공간 QA 평가가 단순 정답률에 의존해 실제 공간 인지 능력을 제대로 평가하지 못한다는 문제를 지적하고, SpatialScout는 VLM이 자율적으로 3D 지도를 생성하는 능력을 종단 평가하는 새로운 접근을 제시한다. 에이전트는 RGB 관측, 카메라 보정, 포즈 정보를 바탕으로 장면을 탐색하며 객체 중심 좌표를 추정해야 한다. 이는 단순 인식을 넘어, 지속적인 관찰, 추론, 결정을 요구하는 클로즈드 루프 탐색 과정이다.

기술적 접근법

**데이터셋**: 80개의 실내 장면, 3,140개의 타겟 객체.
**입력 정보**: 객체 목록, RGB 이미지, 카메라 보정 및 포즈.
**평가 지표**: 평균 IoU, 타겟 커버리지, 지도 오버랩 점수.
**알고리즘 단계**: 뷰포인트 선택 → 크로스뷰 연관 → 기하 추정 → 지도 수정.
**제한 조건**: 상호작용 예산이 제한된 환경에서 지도를 업데이트.

주요 결과

Claude Opus 5.5 모델이 평균 IoU 41.71% 달성.
0.5 IoU를 넘는 타겟은 47.23%, 0.9 IoU를 넘는 타겟은 3.25%에 불과.
VLM이 자율 탐색을 통해 부분적인 객체 레이아웃을 복구하지만, 정밀한 위치 추정과 전체 커버리지는 여전히 어려움.
기존 QA 기반 평가와 달리, SpatialScout는 지도 정확도와 커버리지를 종합적으로 평가.

의의 및 한계

SpatialScout는 VLM이 3D 공간을 정확히 이해하고 지도를 구성하는 능력을 종단 평가하는 첫 번째 벤치마크로, 공간 인지 연구의 새로운 기준을 제시한다. 그러나 현재 모델은 정밀한 지도 생성에 한계가 있으며, 이는 단순 객체 인식이나 거리 추정과는 다른 복합적 능력을 요구한다. 또한, 제한된 상호작용 예산 하에서 지도를 업데이트하는 과정에서 정보 누락 문제가 발생할 수 있다.

실용적 활용

SpatialScout는 로봇 탐색, AR/VR 환경 구축, 자율 주행 시스템 등에서 공간 인지 능력을 평가하고 향상시키는 데 활용될 수 있다. 특히, 지속적인 관찰과 지도 업데이트가 필요한 실시간 시스템 개발에 기여할 수 있다.