SpatialRGPT: Grounded Spatial Reasoning in Vision Language Model

Vision Language Models (VLMs) have demonstrated remarkable performance in 2D vision and language tasks. However, their ability to reason about spatial arrangements remains limited. In this work, we introduce Spatial Region GPT (SpatialRGPT) to enhance VLMs' spatial perception and reasoning capabilities. SpatialRGPT advances VLMs' spatial understanding through two key innovations: (1) a data curation pipeline that enables effective learning of regional representation from 3D scene graphs, and (2) a flexible plugin module for integrating depth information into the visual encoder of existing VLMs. During inference, when provided with user-specified region proposals, SpatialRGPT can accurately perceive their relative directions and distances. Additionally, we propose SpatialRGBT-Bench, a benchmark with ground-truth 3D annotations encompassing indoor, outdoor, and simulated environments, for evaluating 3D spatial cognition in VLMs. Our results demonstrate that SpatialRGPT significantly enhances performance in spatial reasoning tasks, both with and without local region prompts. The model also exhibits strong generalization capabilities, effectively reasoning about complex spatial relations and functioning as a region-aware dense reward annotator for robotic tasks. Code, dataset, and benchmark are released at https://www.anjiecheng.me/SpatialRGPT

한 줄 요약

SpatialRGPT는 3D 공간 인식 능력을 갖춘 VLM을 구현하기 위해 지역 정보와 깊이 정보를 통합한 새로운 모델이다.

핵심 기여도

**3D 장면 그래프 기반 데이터 파이프라인**을 도입하여 지역 정보 학습을 가능하게 함.
**깊이 정보를 통합하는 플러그인 모듈**을 제안하여 기존 VLM의 시각 인코더를 확장.
**SpatialRGBT-Bench**라는 새로운 3D 공간 인식 평가 벤치마크를 제시.
**8.7M 개의 공간 개념**을 포함한 Open Spatial Dataset (OSD)를 생성.

핵심 아이디어

기존 VLM은 전역 이미지 이해에 초점을 맞추어 지역 간 공간 관계를 정확히 파악하는 데 어려움이 있었다. SpatialRGPT는 지역 제안을 입력으로 받아 **상대 방향과 거리**를 정확히 인식할 수 있도록 설계되었다. 이는 **3D 장면 그래프**를 통해 지역 정보를 학습하고, **깊이 정보 플러그인 모듈**을 통해 3D 공간 인식 능력을 강화하는 데 기반한다. 또한, **템플릿 기반 및 LLM 기반 접근법**을 결합하여 복잡한 공간 QA 데이터를 생성함으로써, 모델이 다양한 환경에서 공간 관계를 추론할 수 있도록 지원한다.

기술적 접근법

**3D 장면 그래프 생성**: 개방형 어휘 감지, 분할, 메트릭 깊이 추정, 카메라 보정을 통한 3D 장면 그래프 생성.
**Region Representation Module**: 지역 제안(박스 또는 마스크)을 입력으로 받아 지역 및 전역 맥락을 결합.
**Depth Plugin Module**: 기존 VLM의 시각 인코더에 깊이 정보를 통합하는 플러그인 모듈.
**Open Spatial Dataset (OSD)**: 5M 개의 고유 지역에 8.7M 개의 공간 개념이 포함된 데이터셋.
**SpatialRGBT-Bench**: 실내, 실외, 시뮬레이션 환경의 3D 라벨을 포함한 평가 벤치마크.

주요 결과

**SpatialRGBT-Bench**에서 SpatialRGPT는 지역 제안 유무에 관계없이 **공간 추론 성능을 크게 향상**시킴.
**로봇 작업**에서 **지역 인식 기반의 밀집 보상 주석기**로 활용 가능.
**복잡한 공간 관계**를 효과적으로 추론하며, **다중 단계 추론(multi-hop reasoning)**도 수행 가능.

의의 및 한계

SpatialRGPT는 VLM의 공간 인식 능력을 획기적으로 향상시켜 로봇, 증강현실 등 실용 분야에서의 활용 가능성을 열었다. 특히, **지역 기반 QA 데이터 생성 파이프라인**과 **깊이 정보 통합 모듈**은 기존 VLM의 한계를 극복하는 중요한 기술적 기여이다. 그러나, **3D 라벨이 필요한 데이터 생성 과정**은 계산 비용이 높으며, **실제 세계 환경에서의 일반화 능력**은 추가 실험을 통해 검증이 필요하다.

실용적 활용

SpatialRGPT는 로봇이 **지역 기반 보상 함수를 생성**하는 데 활용될 수 있으며, **복잡한 공간 관계를 해석하는 독립적인 추론 엔진**으로도 사용 가능하다. 또한, **증강현실 및 자율 주행** 분야에서 정밀한 공간 인식이 필요한 시스템에 적용될 수 있다.