S-Agent: Spatial Tool-Use Elicits Reasoning for Spatial Intelligence

Real-world spatial intelligence requires reasoning over a continuous and evolving 3D world, yet existing VLMs and tool-augmented agents largely remain tied to static, stateless inference from isolated visual observations. We introduce \textsc{S-Agent}, a spatial tool-use agentic paradigm for understanding and reasoning over continuous multi-view images and videos. By formulating spatial reasoning as spatio-temporal evidence accumulation rather than isolated frame-level prediction, S-Agent reshapes spatial perception into scene-centric understanding beyond frame-centric recognition. Specifically, S-Agent casts the VLM as a semantic planner that decides what evidence is needed, while a hierarchy of spatial tools and experts grounds objects in 2D, lifts them into 3D geometric evidence, and aggregates this evidence into high-level spatial knowledge (e.g., counting, measurement, orientation, and relative position). Additionally, a temporal memory mechanism, including Scene Memory for maintaining the evolving scene state and Agent Memory for accumulating reasoning context, enables evidence integration across frames and reasoning steps. Comprehensive experiments on multi-view and video spatial reasoning benchmarks show that S-Agent consistently improves both open-source and closed-source VLMs in a training-free manner. Beyond inference-time augmentation, supervised fine-tuning (SFT) on S-Agent-generated spatial trajectories S-300K yields S-Agent-8B, a compact spatial agent that significantly surpasses similar-scale baselines (e.g., Qwen3-VL-8B) and performs comparably to advanced closed-source models (e.g., GPT-5.4 and Gemini 3).

한 줄 요약

S-Agent는 지속적인 다시점 이미지와 영상에서 공간 추론을 수행하는 공간 도구 사용 에이전트로, 3D 정보를 기반으로 한 추론 성능을 향상시킨다.

핵심 기여도

S-Agent는 공간 추론을 단일 프레임 예측이 아닌 **시공간 증거 누적**(spatio-temporal evidence accumulation) 프로세스로 정의한다.
**Scene Memory**와 **Agent Memory**를 통해 프레임 간 증거 통합과 추론 맥락 유지가 가능하다.
**S-300K** 데이터셋을 기반으로 SFT를 수행한 **S-Agent-8B**는 Qwen3-VL-8B 대비 MMSI-Bench에서 10.5% 개선, GPT-5.4와 유사한 성능을 보인다.
**Level-3 3D 전문가**(3D experts)가 노이즈 3D 정보를 해석하여 56.7% 정확도를 달성하며, 메모리 모듈과 결합하면 60.0%에 도달한다.

핵심 아이디어

기존 VLM은 단일 2D 이미지에서 추론을 수행하며, 3D 세계의 지속적 변화를 반영하지 못한다. S-Agent는 이 문제를 해결하기 위해 **시공간 증거 누적**(spatio-temporal evidence accumulation) 프레임워크를 도입한다. 이는 단일 프레임이 아닌, 시간과 공간에 걸쳐 증거를 누적하여 3D 장면을 이해하는 방식이다.

S-Agent는 VLM을 **의미적 계획자**(semantic planner)로 활용하여 어떤 증거가 필요한지 결정하고, **계층적 공간 도구**(2D grounding → 3D lifting → 3D 전문가)를 통해 2D에서 3D로의 전환과 고차원 공간 지식을 생성한다. 또한, **Scene Memory**는 장면 상태를 유지하고, **Agent Memory**는 추론 맥락을 저장하여 시간에 걸쳐 증거를 통합한다. 이는 기존의 단일 프레임 중심 추론에서 벗어나, 장면 중심의 지속적 추론을 가능하게 한다.

기술적 접근법

**계층적 공간 증거 수집**:
Level 1: 2D perception tools (object grounding, region detection)
Level 2: multi-view 3D tools (depth, 3D 좌표, 카메라 포즈)
Level 3: specialized spatial experts (object count, measurement, orientation, relative position)
**Temporal Memory Mechanism**:
Scene Memory: 프레임 간 객체 식별 유지 및 중복 증거 억제
Agent Memory: 도구 관찰 및 중간 추론 흐름 저장
**S-300K 데이터셋**: S-Agent의 zero-shot 추론 경로에서 생성된 공간 지시 데이터로, Qwen3-VL-8B에 SFT 적용하여 S-Agent-8B 모델을 학습

주요 결과

**MMSI-Bench**: S-Agent-8B는 Qwen3-VL-8B 대비 10.5% 개선 (31.1% → 41.6%)
**ViewSpatial-Bench**: Level-3 3D 전문가 도입 시 56.7% → Scene Memory + Agent Memory 적용 시 60.0%
**VSR**: 240분 영상에서 Cambrian-S-7B-LFP 대비 37.2% 개선 (frame-selection tool 효과)
**GPT-5.4 대비 MMSI-Bench**: 4.5% 개선

의의 및 한계

S-Agent는 기존 VLM의 단일 프레임 중심 추론의 한계를 극복하고, 지속적 3D 장면 이해를 가능하게 하는 새로운 에이전트 패러다임을 제시한다. 특히, **S-300K** 데이터셋을 활용한 SFT를 통해 8B 규모의 오픈 모델이 고가의 클로즈드 모델(GPT-5.4, Gemini 3)과 유사한 성능을 달성하는 데 성공하였다. 이는 공간 지능을 갖춘 VLM을 구축하는 데 중요한 방향성을 제시한다.

그러나, **Level-2 3D 증거**(raw 3D 정보)는 VLM이 해석하기 어려워 성능 향상에 기여가 제한적이며, **VSI-SUPER** 벤치마크의 신뢰도가 의문시되는 점도 한계로 지적된다. 또한, **S-300K**는 특정 훈련 세트에서 생성된 데이터로, 일반화 가능성에 대한 추가 연구가 필요하다.

실용적 활용

S-Agent는 **로봇**, **자율주행**, **AR/VR** 등 3D 환경에서의 지속적 공간 추론이 필요한 분야에 적용 가능하다. 특히, **S-Agent-8B**는 오픈소스로 제공되며, 높은 성능과 낮은 규모를 결합하여 산업 현장에서 실용적으로 활용될 수 있다.