3D Gaussian Splatting as Markov Chain Monte Carlo

While 3D Gaussian Splatting has recently become popular for neural rendering, current methods rely on carefully engineered cloning and splitting strategies for placing Gaussians, which can lead to poor-quality renderings, and reliance on a good initialization. In this work, we rethink the set of 3D Gaussians as a random sample drawn from an underlying probability distribution describing the physical representation of the scene-in other words, Markov Chain Monte Carlo (MCMC) samples. Under this view, we show that the 3D Gaussian updates can be converted as Stochastic Gradient Langevin Dynamics (SGLD) updates by simply introducing noise. We then rewrite the densification and pruning strategies in 3D Gaussian Splatting as simply a deterministic state transition of MCMC samples, removing these heuristics from the framework. To do so, we revise the 'cloning' of Gaussians into a relocalization scheme that approximately preserves sample probability. To encourage efficient use of Gaussians, we introduce a regularizer that promotes the removal of unused Gaussians. On various standard evaluation scenes, we show that our method provides improved rendering quality, easy control over the number of Gaussians, and robustness to initialization.

한 줄 요약

3D Gaussian Splatting을 MCMC 샘플링으로 재구성하여 초기화와 휴리스틱을 제거하고 렌더링 품질을 향상시킨다.

핵심 기여도

3D Gaussian Splatting을 MCMC 샘플링 프레임워크로 재구성하여 SGLD 업데이트를 도입.
기존의 cloning과 pruning 휴리스틱을 relocation 기반의 결정론적 상태 전이로 대체.
L1 정규화를 통해 불필요한 가우시안 제거를 촉진.
MipNeRF360, OMMO 등 다양한 데이터셋에서 NeRF 기반 모델을 초과하는 성능 보임.

핵심 아이디어

기존 3D Gaussian Splatting은 가우시안 배치를 위한 cloning, splitting, pruning 휴리스틱에 의존하며, 이는 초기화에 민감하고 렌더링 품질 저하를 유발할 수 있다. 본 연구는 3D 가우시안 집합을 MCMC 샘플로 재해석하고, 업데이트 과정을 SGLD로 변환함으로써 휴리스틱을 제거한다. SGLD 업데이트는 노이즈를 도입하여 샘플 공간을 탐색하며, 이는 가우시안의 재배치(relocalization)를 자연스럽게 유도한다. 또한, 가우시안의 불필요성을 L1 정규화를 통해 정량화하여 제거를 촉진한다. 이는 기존 휴리스틱 대신 확률적 프레임워크를 도입하여 더 안정적이고 유연한 학습이 가능하도록 한다.

기술적 접근법

**MCMC 샘플링 재구성**: 3D Gaussian Splatting의 업데이트를 SGLD로 변환. 노이즈 도입으로 샘플 탐색 가능.
**Relocation 기반 상태 전이**: cloning 휴리스틱을 relocalization으로 대체. 'dead' 가우시안을 'live' 가우시안 근처로 이동.
**L1 정규화**: 가우시안의 불투명도(opacity)와 스케일(scale)에 적용. 불필요한 가우시안 제거를 유도.
**데이터셋**: NeRF Synthetic, MipNeRF360, Tank & Temples, Deep Blending, OMMO 데이터셋 사용.
**이미지 다운샘플링**: MipNeRF360의 indoor/outdoor 이미지 각각 2배/4배, OMMO #01은 4배로 다운샘플링.

주요 결과

**MipNeRF360 데이터셋에서 PSNR 33.6 dB** (기존 3DGS 대비 +1.2 dB)
**OMMO 데이터셋에서 PSNR 30.8 dB** (기존 3DGS 대비 +0.9 dB)
**초기화에 대한 로버스트성**: 랜덤 초기화와 Structure-from-Motion 초기화 모두에서 고질량 렌더링 가능.
**가우시안 수 조절**: 사용자 지정 가능하며, 휴리스틱 없이도 안정적 학습 유지.

의의 및 한계

본 연구는 3D Gaussian Splatting의 핵심 휴리스틱을 확률적 프레임워크로 대체함으로써 초기화 의존성을 제거하고, 렌더링 품질을 향상시켰다. 특히, MCMC 샘플링 기반 접근은 가우시안 배치를 자연스럽게 조절하며, L1 정규화는 불필요한 계산 자원을 줄이는 데 기여한다. 그러나, MCMC 샘플링은 계산 비용이 높을 수 있으며, 복잡한 장면에서는 샘플링 효율성이 저하될 수 있다. 또한, 가우시안의 수를 자동 조절하는 정확한 메커니즘은 아직 명시되지 않았다.

실용적 활용

본 연구는 빠른 렌더링이 필요한 실시간 3D 시각화, VR/AR 콘텐츠 생성, 대규모 장면의 효율적 표현 등에 적용 가능하다. 특히, 초기화에 민감한 기존 3DGS의 한계를 극복하여, 다양한 장면에서 안정적인 성능을 보장하는 데 유용하다.