Street Gaussians: Modeling Dynamic Urban Scenes with Gaussian Splatting

This paper aims to tackle the problem of modeling dynamic urban streets for autonomous driving scenes. Recent methods extend NeRF by incorporating tracked vehicle poses to animate vehicles, enabling photo-realistic view synthesis of dynamic urban street scenes. However, significant limitations are their slow training and rendering speed. We introduce Street Gaussians, a new explicit scene representation that tackles these limitations. Specifically, the dynamic urban scene is represented as a set of point clouds equipped with semantic logits and 3D Gaussians, each associated with either a foreground vehicle or the background. To model the dynamics of foreground object vehicles, each object point cloud is optimized with optimizable tracked poses, along with a 4D spherical harmonics model for the dynamic appearance. The explicit representation allows easy composition of object vehicles and background, which in turn allows for scene editing operations and rendering at 135 FPS (1066 $\times$ 1600 resolution) within half an hour of training. The proposed method is evaluated on multiple challenging benchmarks, including KITTI and Waymo Open datasets. Experiments show that the proposed method consistently outperforms state-of-the-art methods across all datasets. The code will be released to ensure reproducibility.

한 줄 요약

Street Gaussians는 3D 가우시안 포인트 클라우드를 기반으로 도시 거리 장면을 실시간 렌더링하는 새로운 표현 방식이다.

핵심 기여도

Street Gaussians는 3D 가우시안과 세멘틱 로짓을 갖춘 포인트 클라우드를 사용하여 도시 거리 장면을 표현함.
4D 구면 조화모델(4D spherical harmonics model)을 도입하여 시간에 따른 차량 외관을 표현함.
최적화된 트래킹 포즈와 포인트 클라우드 초기화 전략을 통해 135 FPS (1066×1600 해상도)의 실시간 렌더링 가능함.
KITTI와 Waymo Open 데이터셋에서 기존 최고 성능을 100배 이상 빠르게 렌더링하며 초과함.

핵심 아이디어

기존 NeRF 기반 방법은 대규모 네트워크 파라미터로 인해 훈련 시간이 오래 걸리고, 동적 차량을 처리하지 못하는 한계가 있었다. Street Gaussians은 이러한 문제를 해결하기 위해 **포인트 클라우드 기반의 명시적 표현**을 도입한다. 도시 장면은 **정적 배경**과 **동적 차량**으로 분리되어, 각각 3D 가우시안을 갖춘 포인트 클라우드로 표현된다. 특히, **4D 구면 조화모델**을 통해 시간에 따라 변화하는 차량 외관을 표현하며, **트래킹 포즈 최적화**를 통해 실제 렌더링 성능을 향상시킨다. 이는 기존 NeRF 기반 방법과 달리 빠른 훈련과 실시간 렌더링이 가능하다는 점에서 혁신적이다.

기술적 접근법

**Scene Representation**: 도시 장면은 정적 배경과 동적 차량으로 분리되어, 각각 3D 가우시안을 갖춘 포인트 클라우드로 표현됨.
**4D Appearance Modeling**: 시간에 따른 차량 외관은 4D 구면 조화모델을 사용하여 표현됨.
**Tracked Pose Optimization**: 오프-더-셀프 트래커에서 얻은 차량 포즈를 최적화하여 렌더링 성능 향상.
**Point Cloud Initialization**: 초기 포인트 클라우드를 효과적으로 초기화하여 훈련 시간 단축.
**Sky Modeling**: 배경의 하늘 부분을 별도로 모델링하여 렌더링 품질 향상.
**Rendering Speed**: 135 FPS (1066×1600 해상도)의 실시간 렌더링 가능.

주요 결과

**KITTI 데이터셋**: 기존 최고 성능 대비 100배 이상 빠른 렌더링 속도 달성.
**Waymo Open 데이터셋**: 렌더링 품질에서 기존 최고 성능을 초과함.
**Rendering Speed**: 135 FPS (1066×1600 해상도) 달성.
**Training Time**: 30분 이내 훈련으로 실시간 렌더링 가능.

의의 및 한계

Street Gaussians은 도시 거리 장면의 실시간 렌더링과 편집을 가능하게 하며, 자율주행 시뮬레이션 및 디지털 트윈 구축에 유용하다. 특히, **명시적 표현**을 통해 기존 NeRF 기반 방법의 느린 훈련과 렌더링 문제를 해결한 점에서 학술적·실용적 가치가 크다. 그러나, **복잡한 환경 조건**(예: 야간, 우천)에서의 성능은 명시되지 않았으며, **초기 포인트 클라우드의 품질**이 최종 결과에 영향을 줄 수 있는 한계가 있다.

실용적 활용

Street Gaussians은 자율주행 시뮬레이션, 도시 디지털 트윈, 게임 개발 등에서 활용될 수 있다. 특히, **실시간 렌더링과 장면 편집 기능**은 시뮬레이션 환경 구축 및 테스트에 유용하며, **KITTI와 Waymo Open 데이터셋**에서 검증된 성능은 산업 현장 적용 가능성도 높인다.