Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes

City-scale 3D grounding is commonly formulated as candidate ranking, which requires precomputed instance proposals and becomes inefficient in large outdoor scenes. We propose Urbex, an agentic vision-language framework that instead casts grounding as active spatial search. Urbex represents a city-scale 3D scene as an interactive multi-view environment, allowing a VLM agent to query landmarks, zoom into local regions, render oblique views, and commit a grounded bounding box. We optimize this tool-use policy with reinforcement learning on CityRefer, using smooth localization rewards and lightweight shaping rewards for efficient exploration. Experiments show that Urbex achieves the best Hit@1 and IoU on CityRefer, supports candidate-free grounding without ground-truth boxes, and is substantially faster than the strongest city-scale ranking baseline. Zero-shot results on STPLS3D-Refer further indicate improved cross-scene robustness.

한 줄 요약

Urbex는 도시 규모 3D 장면에서 언어 기반 객체 정위치를 위해 강화학습 기반의 에이전트 기반 공간 탐색 프레임워크를 제안한다.

핵심 기여도

Urbex는 기존의 후보 랭킹 방식 대신, 도시 규모 3D 장면에서 **Active Spatial Search**를 통해 객체 정위치를 수행한다.
**Landmark Query**, **Zoom-in**, **Oblique Rendering** 등 3가지 도구를 활용한 인터랙티브 환경을 설계하고, 이를 **강화학습**으로 최적화한다.
**CityRefer** 데이터셋에서 **Hit@1 73.2%**, **IoU 21.4%** 달성하며, 기존 후보 랭킹 기반 방법 대비 **1.6× 가속**.
**STPLS3D-Refer** 데이터셋에서 **Zero-shot 성능**을 보여, **cross-scene robustness**가 향상됨.

핵심 아이디어

기존 도시 규모 3D 객체 정위치는 후보 인스턴스를 미리 계산한 후 랭킹하는 방식으로, 이는 대규모 장면에서 비효율적이다. Urbex는 이 문제를 **Active Spatial Search** 문제로 재정의한다. 에이전트는 **BEV 이미지**와 **좌표 매핑**을 기반으로 장면을 탐색하며, **Landmark Query**로 초기 위치를 확정하고, **Zoom-in**으로 세부 영역을 확대하고, **Oblique Rendering**으로 3D 확인을 수행한다. 이 과정은 **강화학습**을 통해 최적화되며, **smooth localization reward**와 **tool-level shaping reward**를 사용하여 탐색 효율성을 높인다. 이는 도시 규모 장면에서 **전체 인스턴스를 열거하지 않고도 정확한 위치를 찾는 새로운 접근법**이다.

기술적 접근법

**Urbex**는 **Bird's Eye View (BEV)** 기반의 **multi-view 환경**을 구축.
**Landmark Query**, **Zoom-in**, **Oblique Rendering** 3가지 도구를 사용하여 장면을 탐색.
**강화학습**을 통해 도구 사용 정책 최적화:
**Terminal reward**: 타겟과의 겹침(overlap)을 기준으로 평가.
**Distance shaping reward**: 초기 겹침이 없을 때 중심 거리 신호 제공.
**Tool-level shaping reward**: Zoom-in, Landmark Query 등 도구 사용을 안정화.
**8-turn budget** 사용: 추가 탐색은 성능 향상에 기여하지만, 9-turn 이상은 오히려 성능 저하.
**CityRefer**와 **STPLS3D-Refer** 데이터셋에서 평가.

주요 결과

**CityRefer (ND, NO split)**에서 Urbex는 **Hit@1 73.2%**, **IoU 21.4%** 달성.
기존 후보 랭킹 기반 방법 대비 **1.6× 빠른 추론 속도**.
**STPLS3D-Refer**에서 Zero-shot 성능 보여, **cross-scene robustness** 향상.
**Landmark Query** 도구는 Hit@3 15.5% → 28.2%, 2D IoU 4.1% → 8.9%로 가장 큰 성능 향상 기여.

의의 및 한계

Urbex는 도시 규모 3D 장면에서 **후보 없이 자유로운 정위치**를 가능하게 하며, **실시간 탐색 효율성**을 높인다.
**강화학습 기반 탐색 정책**은 장거리 공간 정보를 활용한 **정확한 객체 인식**을 가능하게 하며, **실제 도시 환경 적용 가능성**이 높다.
한계로는 **도구 사용 예산**(8-turn)이 제한되어 있으며, **과도한 탐색**은 성능 저하를 유발할 수 있음. 또한, **복잡한 언어 표현**에 대한 일반화 능력은 추가 연구 필요.

실용적 활용

Urbex는 **자율주행**, **드론 기반 도시 점검**, **로봇 네비게이션** 등에서 도시 규모 3D 장면 내 객체 정위치를 실시간으로 수행하는 데 활용 가능하다. 특히, **실제 도시 환경에서 정확한 인스턴스 경계 정보가 부족한 경우**에도 효과적으로 작동할 수 있다.