OmniRe: Omni Urban Scene Reconstruction

We introduce OmniRe, a comprehensive system for efficiently creating high-fidelity digital twins of dynamic real-world scenes from on-device logs. Recent methods using neural fields or Gaussian Splatting primarily focus on vehicles, hindering a holistic framework for all dynamic foregrounds demanded by downstream applications, e.g., the simulation of human behavior. OmniRe extends beyond vehicle modeling to enable accurate, full-length reconstruction of diverse dynamic objects in urban scenes. Our approach builds scene graphs on 3DGS and constructs multiple Gaussian representations in canonical spaces that model various dynamic actors, including vehicles, pedestrians, cyclists, and others. OmniRe allows holistically reconstructing any dynamic object in the scene, enabling advanced simulations (~60Hz) that include human-participated scenarios, such as pedestrian behavior simulation and human-vehicle interaction. This comprehensive simulation capability is unmatched by existing methods. Extensive evaluations on the Waymo dataset show that our approach outperforms prior state-of-the-art methods quantitatively and qualitatively by a large margin. We further extend our results to 5 additional popular driving datasets to demonstrate its generalizability on common urban scenes.

한 줄 요약

OmniRe는 다양한 동적 객체를 포함한 도시 장면을 고정밀로 재구성하는 시스템으로, 60Hz 실시간 시뮬레이션과 인간 행동 시뮬레이션을 지원한다.

핵심 기여도

3DGS 기반의 다중 가우시안 표현을 도입하여 차량, 보행자, 자전거 등 다양한 동적 객체를 통합 재구성.
SMPL 모델을 활용한 관절 수준 제어로 보행자 행동을 정밀히 재현.
Waymo 데이터셋에서 기존 최고 성능을 60Hz 실시간 시뮬레이션 환경에서 대폭 상회.
NuScenes, Argoverse2 등 5개 추가 데이터셋에서 일반화 성능 검증.

핵심 아이디어

기존 연구는 주로 차량에 집중하여 도시 장면의 전체 동적 객체를 포괄적으로 재구성하는 데 한계가 있었다. OmniRe는 3D Gaussian Splatting(3DGS) 기반의 **Dynamic Neural Scene Graph**를 제안하여, 정적 배경과 다양한 동적 객체(차량, 보행자, 자전거 등)를 통합적으로 표현한다. 특히, 보행자와 같은 비강체(non-rigid) 객체는 SMPL 모델과 결합하여 관절 수준의 제어가 가능하도록 설계되었다. 이는 기존 방법에서 부재했던 **인간 중심 시뮬레이션**(예: 보행자-차량 상호작용)을 가능하게 한다. 또한, 템플릿 없는 객체는 **자체 학습 기반 변형 필드**(self-supervised deformation field)를 통해 유연하게 표현된다.

기술적 접근법

**3DGS 기반 Dynamic Neural Scene Graph**: 정적 배경과 차량은 정적 가우시안으로 표현, 비강체 객체는 SMPL과 결합된 동적 가우시안으로 표현.
**SMPL 모델 통합**: 보행자의 관절 수준 제어를 위해 SMPL 템플릿 기반의 3DGS 초기화와 최적화를 수행.
**자체 학습 변형 필드**(Self-supervised deformation field): 템플릿 없는 객체의 정확한 재구성을 위해 가우시안의 캐노니컬 공간에서 형태 공간으로 변형.
**인스턴스 바운딩 박스 최적화**: 데이터셋의 노이즈 바운딩 박스를 학습 과정에서 함께 최적화하여 재구성 품질 향상.
**60Hz 실시간 시뮬레이션**: 재구성된 객체는 위치와 회전에 대한 편집이 가능하며, 시나리오 간 전달 가능.

주요 결과

**Waymo 데이터셋**에서 기존 최고 성능 대비 **정성적·정량적 개선**.
**NuScenes, Argoverse2, PandaSet, KITTI, NuPlan** 등 5개 추가 데이터셋에서 일반화 성능 검증.
**SMPL 모델 없이 재구성 시**, 보행자의 다리 부분이 **블러 처리되어 정확도 저하** (Table 3, Fig. 7).
**인스턴스 바운딩 박스 최적화**를 통해 재구성된 객체의 **블러 감소 및 수치 지표 향상** (Table 4, Fig. 12).

의의 및 한계

OmniRe는 도시 장면의 **다양한 동적 객체를 통합적으로 재구성**함으로써, 자율주행 시뮬레이션의 정확성과 안전성을 높이는 데 기여한다. 특히, SMPL 기반의 관절 수준 제어는 **보행자 행동 시뮬레이션**에서 기존 방법을 대폭 앞선다. 또한, **템플릿 없는 객체**에 대한 자체 학습 변형 필드는 유연한 표현력을 제공한다. 그러나, **실내 환경**이나 **복잡한 인공 구조물**에 대한 일반화는 명시되지 않았으며, **센서 노이즈나 가려짐**(occlusion)이 심한 경우에도 한계가 있을 수 있다.

실용적 활용

OmniRe는 자율주행 시뮬레이션, 도시 모델링, VR/AR 환경 구축 등에 적용 가능하다. 특히, **보행자-차량 상호작용 시나리오**를 포함한 고정밀 시뮬레이션을 통해 **안전성 테스트 및 알고리즘 개선**에 활용할 수 있다. 재구성된 객체는 다른 시나리오로 전달 가능하여, **다양한 환경에서의 테스트**를 용이하게 한다.