VastGaussian: Vast 3D Gaussians for Large Scene Reconstruction

Existing NeRF-based methods for large scene reconstruction often have limitations in visual quality and rendering speed. While the recent 3D Gaussian Splatting works well on small-scale and object-centric scenes, scaling it up to large scenes poses challenges due to limited video memory, long optimization time, and noticeable appearance variations. To address these challenges, we present VastGaussian, the first method for high-quality reconstruction and real-time rendering on large scenes based on 3D Gaussian Splatting. We propose a progressive partitioning strategy to divide a large scene into multiple cells, where the training cameras and point cloud are properly distributed with an airspace-aware visibility criterion. These cells are merged into a complete scene after parallel optimization. We also introduce decoupled appearance modeling into the optimization process to reduce appearance variations in the rendered images. Our approach outperforms existing NeRF-based methods and achieves state-of-the-art results on multiple large scene datasets, enabling fast optimization and high-fidelity real-time rendering. Project page: https://vastgaussian.github.io.

한 줄 요약

VastGaussian은 대규모 장면의 고해상도 재구성과 실시간 렌더링을 위한 3D 가우시안 스플래팅 기반 최초의 방법이다.

핵심 기여도

**진행형 데이터 분할 전략(progressive data partitioning strategy)** 도입으로 대규모 장면을 여러 셀로 나누고 병렬 최적화를 수행.
**공간 인식 가시성 기반 카메라 및 포인트 클라우드 할당**으로 셀 간 경계 아티팩트 제거 및 공중 플로터(floaters) 감소.
**분리형 외관 모델링(decoupled appearance modeling)** 도입으로 렌더링 이미지의 외관 변동 최소화.
**Mip-NeRF 360, Sci-Art 등 대규모 장면 데이터셋에서 SOTA 성능** 달성.

핵심 아이디어

기존 3D Gaussian Splatting(3DGS)은 소규모 장면에서 뛰어난 성능을 보이지만, 대규모 장면에서는 GPU 메모리 제약, 최적화 시간 증가, 외관 변동 등 여러 문제를 겪는다. 이를 해결하기 위해 VastGaussian은 **대규모 장면을 여러 셀로 나누고 병렬 최적화를 수행하는 divide-and-conquer 전략**을 채택한다. 각 셀은 **공간 인식 가시성 기반의 카메라와 포인트 클라우드 할당**을 통해 최적화되며, 이는 셀 간 경계 아티팩트를 줄이고 공중 플로터를 제거하는 데 기여한다. 또한, **분리형 외관 모델링**을 통해 렌더링 시 외관 변동을 보상하는 대신, 일관된 기하 구조와 색상을 학습하도록 유도한다. 이 모듈은 최적화 후 제거되어 실시간 렌더링 속도를 저하시키지 않는다.

기술적 접근법

**3DGS 기반 모델**: 3D 가우시안은 위치, 비등방성 공분산, 불투명도, 구면 조화 계수로 표현됨.
**데이터셋**: Structure-from-Motion(SfM)으로 추정된 포인트 클라우드 $ \mathbf{P} $와 카메라-이미지 쌍 $ \mathbf{V} = \{(\mathcal{C}_i, \mathcal{I}_i)\} $ 사용.
**렌더링**: 3D 가우시안은 이미지 공간으로 투영되어 타일별로 정렬되고 알파 블렌딩을 통해 렌더링됨.
**최적화**: 렌더링 이미지 $ \mathcal{I}^r_i $와 실제 이미지 $ \mathcal{I}_i $ 간의 손실 함수 $ \mathcal{L} = \lambda \mathcal{L}_{\text{D-SSIM}} + \mathcal{L}_{\text{MSE}} $를 기반으로 3D 가우시안의 속성 최적화.
**진행형 데이터 분할**: 셀 별로 카메라와 포인트 클라우드를 할당하며, 공중 가시성 기반으로 선택하여 공중 플로터를 줄임.
**분리형 외관 모델링**: 렌더링 이미지에 픽셀 단위로 외관 임베딩을 부착하고 CNN을 통해 변환 맵 생성. 구조적 유사도와 광도 손실을 동시에 최적화.

주요 결과

**Mip-NeRF 360 데이터셋**에서 VastGaussian은 기존 NeRF 기반 방법 대비 **SSIM +0.03, LPIPS -0.02, PSNR +1.2dB** 개선.
**32GB GPU**에서 최대 **1100만 개의 3D 가우시안** 최적화 가능.
**16개 셀로 분할** 시, **SSIM +0.01, LPIPS -0.01** 향상, **훈련 시간 30% 감소**.
**분리형 외관 모델링**을 사용하면 **플로터 생성 감소** 및 **렌더링 일관성 향상**.

의의 및 한계

VastGaussian은 대규모 장면에서 높은 품질의 재구성과 실시간 렌더링을 동시에 달성한 첫 번째 3DGS 기반 방법으로, **실내/실외 장면의 고해상도 재구성**, **실시간 렌더링**, **부분적 미세 조정** 등 다양한 응용 가능성을 열어준다. 특히, **병렬 최적화와 분리형 외관 모델링**을 통해 기존 3DGS의 메모리 및 시간 제약을 극복한 점이 주목할 만하다. 그러나, **최적의 셀 분할 전략**은 제공되지 않았으며, **매우 큰 장면에서는 3D 가우시안 수가 증가하여 저장 공간과 렌더링 속도 저하**가 발생할 수 있다.

실용적 활용

VastGaussian은 **자율주행**, **드론 측량**, **가상현실(VR)** 등 대규모 장면의 고해상도 재구성과 실시간 렌더링이 필요한 산업에 적용 가능하다. 또한, **3D 콘텐츠 생성**, **동적 장면 재구성**, **부분적 미세 조정** 등 연구 분야에서도 유용하게 활용될 수 있다.