WildCity: A Real-World City-Scale Testbed for Rendering, Simulation, and Spatial Intelligence

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/

한 줄 요약

WildCity는 도시 규모의 실제 환경 데이터를 수집한 다중 모달 데이터셋으로, AI의 대규모 공간 인지 연구를 촉진한다.

핵심 기여도

18개의 평균 83.7km 길이의 자율 주행 차량 데이터를 포함한 WildCity 도시 규모 데이터셋 제공.
도시 환경 특화 3D 재구성 기반 클로즈드-루프 시뮬레이터 구축.
확장성, 외삽, 불확실성이라는 도시 규모 디지털 트윈 구축의 핵심 도전 과제를 체계적으로 분석.
91.58% mIoU 성능의 자동 생성 세마포어 마스크를 포함하며, 수직 GPS 오차는 1km당 센티미터 수준.

핵심 아이디어

현실 세계에서 AI가 인간처럼 도시 전체를 인지하고 추론하는 능력을 갖추기 위해서는 도시 규모의 실제 데이터가 필수적이다. 기존 데이터셋은 도시 전체를 포괄하지 못하거나 시뮬레이션과 현실 간의 괴리가 크다. WildCity는 자율 주행 차량이 수집한 1,500km 이상의 길이를 가진 실제 도시 데이터를 제공하며, 동적 객체, 조명 변화, 불완전한 카메라 포즈 등 실제 환경의 핵심 도전 요소를 반영한다. 이는 도시 디지털 트윈의 재구성과 시뮬레이션, 그리고 장기적인 공간 추론 연구를 위한 기반을 제공한다. 특히, VGGT 기반 재구성과 전역 유사 변환 최적화를 통해 정밀한 3D 모델을 생성하며, 이는 PSNR, SSIM, LPIPS, Depth L1 등의 지표로 평가된다.

기술적 접근법

**데이터 수집**: 자율 주행 차량을 활용한 18개 트래젝토리, 평균 83.7km, 총 1,500km 이상의 길이.
**재구성 기반**: 도시 환경 특화 3D 재구성 기반으로 클로즈드-루프 시뮬레이터 구축.
**평가 지표**: PSNR, SSIM, LPIPS, Depth L1.
**VGGT 기반 재구성**: VGGT 모델을 사용하여 재구성 후 전역 유사 변환 최적화를 통해 정밀도 향상.
**하드웨어**: H200 GPU 기반 동일 환경에서 모델 학습 및 평가 수행.

주요 결과

**Ann Arbor-0.5k, Atlanta-5k** 데이터셋에서 재구성 성능 평가.
**Depth L1**: LiDAR 깊이가 유효한 영역에서 평가.
**PSNR, SSIM, LPIPS**: 정적 영역에서 평가.
**세마포어 마스크**: 91.58% mIoU 성능.
**GPS 포즈 오차**: 수평 드리프트는 1km당 서브-센티미터, 수직 드리프트는 1km당 센티미터 수준.

의의 및 한계

WildCity는 도시 규모의 실제 환경 데이터를 제공함으로써, AI가 인간 수준의 공간 인지 능력을 갖추는 연구를 촉진한다. 특히, 재구성, 시뮬레이션, 장기 기억 및 추론 등 다양한 공간 지능 연구에 기반 자료를 제공한다. 그러나 세마포어 마스크는 자동 생성으로 경계 오류가 발생할 수 있으며, GPS 포즈 오차는 수직 방향에서 상대적으로 크다. 또한, 장기적인 도시 포즈 정렬 개선이 필요하다. 이는 도시 디지털 트윈의 정확도 향상에 중요한 과제로 남는다.

실용적 활용

WildCity는 자율 주행, 도시 시뮬레이션, 장기 공간 추론, 비디오 이해 등 다양한 산업 및 연구 분야에 적용 가능하다. 특히, 실제 도시 환경에서 AI가 학습하고 평가할 수 있는 기반을 제공하여, 도시 스케일의 공간 지능 기술 개발에 기여할 수 있다.