CityGaussian: Real-time High-quality Large-Scale Scene Rendering with Gaussians

The advancement of real-time 3D scene reconstruction and novel view synthesis has been significantly propelled by 3D Gaussian Splatting (3DGS). However, effectively training large-scale 3DGS and rendering it in real-time across various scales remains challenging. This paper introduces CityGaussian (CityGS), which employs a novel divide-and-conquer training approach and Level-of-Detail (LoD) strategy for efficient large-scale 3DGS training and rendering. Specifically, the global scene prior and adaptive training data selection enables efficient training and seamless fusion. Based on fused Gaussian primitives, we generate different detail levels through compression, and realize fast rendering across various scales through the proposed block-wise detail levels selection and aggregation strategy. Extensive experimental results on large-scale scenes demonstrate that our approach attains state-of-theart rendering quality, enabling consistent real-time rendering of largescale scenes across vastly different scales. Our project page is available at https://dekuliutesla.github.io/citygs/.

한 줄 요약

CityGaussian(CityGS)는 대규모 3D 장면의 실시간 렌더링을 위해 분할-정복 및 LoD 전략을 도입한 3D Gaussian Splatting 기반 방법이다.

핵심 기여도

분할-정복 학습 전략과 Level-of-Detail(LoD) 전략을 통해 대규모 3DGS 학습 및 렌더링 효율성 향상.
2300만 개의 가우시안을 사용한 2.7km² MatrixCity 장면에서 21 FPS의 실시간 렌더링 성능 달성.
기존 3DGS는 1100만 개 이상의 가우시안이면 RTX3090(24G)에서 메모리 오류 발생, CityGS는 이를 해결.
LoD 전략을 통해 불필요한 가우시안 처리를 제거하여 렌더링 속도 향상.

핵심 아이디어

CityGS는 대규모 3DGS의 학습 및 렌더링 문제를 해결하기 위해 두 가지 주요 아이디어를 제시한다. 첫째, **분할-정복 학습 전략**을 도입하여 전체 장면을 공간적으로 인접한 블록으로 분할하고 병렬 학습을 수행한다. 이는 GPU 메모리 사용량을 줄이고, 각 블록의 학습 데이터를 최적화하여 불필요한 정보로 인한 과적합을 방지한다. 둘째, **LoD 전략**을 통해 렌더링 시 필요한 가우시안만 선택적으로 처리함으로써 렌더링 속도를 향상시킨다. 특히, 원거리 블록은 압축된 형태로 표현하여 렌더링 부담을 줄인다. 이는 **가우시안 블록 기반의 시야 내 포함 여부 판단**과 **거리에 따른 세부 표현 수준 조절**을 통해 실현된다.

기술적 접근법

**분할-정복 학습 전략**: 전체 장면을 정규화된 경계 큐브로 분할하고, 각 블록은 병렬 학습.
**가우시안 분할**: 블록 내에서만 필요한 카메라 포즈만 사용하여 학습 데이터를 필터링.
**전역 가우시안 프라이어**: 인접 블록 간의 일관성을 위해 학습 중 전역 가우시안 정보를 가이드로 활용.
**LoD 전략**: 블록 단위로 시야 내 포함 여부를 판단하고, 원거리 블록은 압축된 가우시안으로 표현.
**하이퍼파라미터**: LoD 1과 LoD 2의 간격 조절을 통해 속도와 품질의 균형 달성 (Table 5 참조).

주요 결과

**MatrixCity(2.7km²)** 장면에서 2300만 개의 가우시안을 사용하여 평균 21 FPS의 렌더링 성능 달성.
**Tanks&Temples Train 장면(110만 개 가우시안)**에서 103 FPS 렌더링 성능 기록.
**LoD 전략**을 사용하면 렌더링 속도가 2~3배 향상되며, 품질 저하 최소화 (Table 5 참조).
**분할-정복 전략**을 사용하면 1.5배 이상의 가우시안 소모 없이 동일 수준의 품질 달성 (Table 4 참조).

의의 및 한계

CityGS는 대규모 3DGS의 학습 및 렌더링 문제를 해결하여, **실시간 렌더링과 고해상도 재현**을 동시에 달성한 점에서 학술적·실용적 의의가 크다. 특히, **LoD 전략**은 대규모 가우시안 처리 시 발생하는 렌더링 속도 저하를 효과적으로 완화하며, **분할-정복 학습 전략**은 GPU 메모리 제약을 극복하는 데 기여한다. 그러나, **정적 장면 가정**은 동적 장면에 대한 일반화 능력을 제한하며, **공중 및 지상 뷰의 결합 학습**은 오히려 성능 저하를 초래하는 것으로 나타나 추가 연구가 필요하다.

실용적 활용

CityGS는 **스마트시티**, **자율주행**, **AR/VR**, **공중 측량** 등 대규모 3D 장면의 실시간 렌더링이 필요한 산업에 적용 가능하다. 특히, **1.5km² 이상의 대규모 도시 장면**을 고해상도로 재현하면서도 실시간 처리가 가능한 점에서 **도시 모델링 및 시뮬레이션** 분야에서 활용도가 높다.