GaussianPro: 3D Gaussian Splatting with Progressive Propagation

The advent of 3D Gaussian Splatting (3DGS) has recently brought about a revolution in the field of neural rendering, facilitating high-quality renderings at real-time speed. However, 3DGS heavily depends on the initialized point cloud produced by Structure-from-Motion (SfM) techniques. When tackling with large-scale scenes that unavoidably contain texture-less surfaces, the SfM techniques always fail to produce enough points in these surfaces and cannot provide good initialization for 3DGS. As a result, 3DGS suffers from difficult optimization and low-quality renderings. In this paper, inspired by classical multi-view stereo (MVS) techniques, we propose GaussianPro, a novel method that applies a progressive propagation strategy to guide the densification of the 3D Gaussians. Compared to the simple split and clone strategies used in 3DGS, our method leverages the priors of the existing reconstructed geometries of the scene and patch matching techniques to produce new Gaussians with accurate positions and orientations. Experiments on both large-scale and small-scale scenes validate the effectiveness of our method, where our method significantly surpasses 3DGS on the Waymo dataset, exhibiting an improvement of 1.15dB in terms of PSNR.

한 줄 요약

GaussianPro는 3DGS의 초기화 문제를 해결하기 위해 MVS 기반의 점진적 전파 전략을 도입한 새로운 3D 가우시안 스플래팅 방법이다.

핵심 기여도

3DGS의 초기화 문제를 해결하기 위해 MVS 기반의 **점진적 전파 전략(progressive propagation strategy)**을 제안.
**Patch matching**과 **기하학적 prior**를 활용해 **정확한 위치와 방향의 새로운 가우시안** 생성.
**Waymo 데이터셋**에서 3DGS 대비 **PSNR 1.15dB 개선**.
**평면 제약(plane constraint)** 추가로 정확도 향상.

핵심 아이디어

기존 3DGS는 Structure-from-Motion(SfM) 기반의 초기 포인트 클라우드에 크게 의존하며, 무늬 없는 표면(texture-less surface)에서는 초기화가 불충분해 렌더링 품질이 저하된다. 이에 반해, GaussianPro는 MVS 기법에서 영감을 받아, 이미 재구성된 기하학 정보를 prior로 활용하고, **2D 이미지 공간과 3D 월드 공간에서의 전파 전략**을 통해 새로운 가우시안을 생성한다. 이는 **depth와 normal 정보의 이동(propagation)**을 통해 초기화가 어려운 영역에 정확한 가우시안을 배치할 수 있도록 한다. 또한, **patch matching**을 통해 다시 뷰 포토메트릭 일관성(multi-view photometric consistency)을 만족하는 후보를 선택함으로써, 기존 3DGS의 무작위 생성 방식(split/clone)에 비해 더 정확하고 밀집된 가우시안을 생성한다.

기술적 접근법

**3DGS 기반 모델**을 사용하며, **가우시안의 위치(μ), 공분산(Σ), 회전(R), 스케일(S)**를 학습 가능한 파라미터로 정의.
**렌더링 과정**에서 각 픽셀에 대해 **depth와 normal 맵**을 alpha blending을 통해 생성.
**점진적 전파 전략**: 이웃 픽셀의 depth/normal 정보를 반복적으로 전파하여 후보를 생성.
**Patch matching**을 통해 **포토메트릭 일관성**을 만족하는 최적 후보를 선택.
**전파된 depth와 normal**이 렌더링된 값과 큰 차이가 있을 경우, 해당 픽셀을 3D 공간으로 back-projection하여 새로운 가우시안 생성.
**평면 제약(plane constraint)**을 추가하여 정확한 normal 방향 유지.

주요 결과

**Waymo 데이터셋**에서 3DGS 대비 **PSNR 1.15dB 개선**.
**MipNeRF360 데이터셋**에서도 뛰어난 성능 보임.
**입력 이미지 수가 감소**해도 3DGS 대비 **렌더링 품질 유지**.
**가우시안 수 증가 없이 렌더링 품질 향상**, 3DGS보다 **더 밀집되고 정확한 표현**.

의의 및 한계

GaussianPro는 3DGS의 초기화 문제를 해결하고, 특히 무늬 없는 표면에서 뛰어난 렌더링 성능을 보인다. 기존의 MVS 기반 포인트 클라우드를 직접 입력하는 방법보다 **훈련 시간과 가우시안 수 증가 없이 높은 품질의 렌더링**을 달성함으로써, **실시간 렌더링 효율성과 정확도의 균형**을 유지하는 데 기여한다. 그러나, **동적 객체(dynamic object)**는 특별히 모델링하지 않아, 이러한 영역에서는 아티팩트가 발생한다. 이는 정적 가우시안 기법의 한계이며, 향후 동적 가우시안 기법과의 결합이 필요하다.

실용적 활용

GaussianPro는 **자율주행**(Waymo 데이터셋 활용), **실내/실외 3D 콘텐츠 생성**, **가상현실(VR)** 등에서 높은 품질의 실시간 렌더링이 필요한 분야에 적용 가능하다. 특히, **입력 이미지 수가 제한된 상황**에서도 안정적인 성능을 보여, **로봇 비전, 드론 영상 분석** 등에 유용하게 활용될 수 있다.