Mini-Splatting: Representing Scenes with a Constrained Number of Gaussians

In this study, we explore the challenge of efficiently representing scenes with a constrained number of Gaussians. Our analysis shifts from traditional graphics and 2D computer vision to the perspective of point clouds, highlighting the inefficient spatial distribution of Gaussian representation as a key limitation in model performance. To address this, we introduce strategies for densification including blur split and depth reinitialization, and simplification through intersection preserving and sampling. These techniques reorganize the spatial positions of the Gaussians, resulting in significant improvements across various datasets and benchmarks in terms of rendering quality, resource consumption, and storage compression. Our Mini-Splatting integrates seamlessly with the original rasterization pipeline, providing a strong baseline for future research in Gaussian-Splatting-based works. \href{https://github.com/fatPeter/mini-splatting}{Code is available}.

한 줄 요약

Mini-Splatting은 제한된 수의 가우시안으로 장면을 표현하는 문제를 해결하기 위한 밀도 증가 및 단순화 알고리즘을 제안한다.

핵심 기여도

**가우시안 밀도 증가 알고리즘** (blur split, depth reinitialization)을 통해 장면의 밀도를 증가시킴.
**가우시안 단순화 알고리즘** (intersection preserving, Gaussian sampling)을 통해 렌더링 품질을 유지하면서 수를 줄임.
Mip-NeRF360, Tanks&Temples, Deep Blending 데이터셋에서 렌더링 품질, 자원 소비, 저장 압축 측면에서 개선 효과를 보임.
기존 래스터라이제이션 파이프라인과 호환되며, 향후 연구의 강력한 기반을 제공함.

핵심 아이디어

기존 3D Gaussian Splatting(3DGS)은 수백만 개의 가우시안을 사용하여 장면을 표현하지만, 이는 공간 분포의 비효율성으로 인해 렌더링 품질과 속도에 제한을 초래한다. 본 연구는 가우시안의 직접적인 제거 대신, **공간 분포를 재구성**함으로써 효율적인 표현을 달성한다.

핵심 아이디어는 **가우시안의 밀도 증가와 단순화**를 통한 공간 분포 최적화이다. **Blur split**는 블러 영역에서 가우시안을 분할하여 밀도를 증가시키고, **depth reinitialization**은 깊이 정보를 기반으로 가우시안을 재초기화하여 정확도를 높인다. 단순화 단계에서는 **intersection preserving**을 통해 렌더링에 영향력 있는 가우시안을 유지하고, **Gaussian sampling**을 통해 기하 구조와 렌더링 품질을 동시에 보존한다. 이는 기존의 단순 제거 기법과 달리, **렌더링 품질을 유지하면서 가우시안 수를 줄이는 새로운 접근법**이다.

기술적 접근법

**Gaussian Densification**:
**Blur Split**: 블러 영역에서 가우시안 분할.
**Depth Reinitialization**: 깊이 정보를 기반으로 가우시안 재초기화.
**Gaussian Simplification**:
**Intersection Preserving**: 렌더링에 영향력 있는 가우시안 유지.
**Gaussian Sampling**: 기하 구조와 렌더링 품질을 유지하는 샘플링.
**데이터셋**: Mip-NeRF360, Tanks&Temples, Deep Blending.
**구현**: PyTorch를 사용한 3DGS 최적화 파이프라인 통합.
**하이퍼파라미터**: 가우시안 수, 렌더링 품질, 저장 용량 등 실험적으로 조정.

주요 결과

**Mip-NeRF360 데이터셋**에서 Mini-Splatting은 기존 3DGS 대비 약 **50%의 가우시안 수 감소**를 달성하면서도 **렌더링 품질 유지**.
**LPIPS 지표**에서 높은 상관관계를 보여, 밀도 증가가 인간 인지 지표에 긍정적 영향.
**자원 소비 및 저장 압축** 측면에서도 개선 효과.
**Direct Pruning** 대비 Mini-Splatting의 **렌더링 품질 유지**와 **가우시안 수 감소**가 유의미하게 우수함.

의의 및 한계

Mini-Splatting은 3DGS 기반 장면 표현에서 **가우시안 수를 제한하면서도 렌더링 품질을 유지**하는 데 기여한다. 기존 연구는 주로 저장 압축에 초점을 맞췄으나, 본 연구는 **공간 분포의 비효율성**을 해결함으로써 렌더링 속도와 품질을 동시에 개선한다. 또한, 기존 래스터라이제이션 파이프라인과 호환되어 **실용적 적용 가능성**이 높다.

그러나, **복잡한 장면에서의 일반화 성능**이나 **다양한 렌더링 조건**에 대한 평가가 부족하며, **가우시안 수 제한이 너무 낮아지면 품질 저하**가 발생할 수 있다는 한계가 있다. 또한, **정확한 깊이 정보**가 필요한 depth reinitialization 단계는 일부 장면에서 노이즈로 인한 성능 저하가 발생할 수 있다.

실용적 활용

Mini-Splatting은 **실시간 렌더링**, **3D 재구성**, **가상 현실(VR)** 및 **증강 현실(AR)** 등에서 **자원 효율적인 장면 표현**에 활용될 수 있다. 특히, **가우시안 수를 제한해야 하는 모바일 장치나 클라우드 기반 렌더링 환경**에서 유용하며, **대규모 장면의 저장 및 전송 효율성** 향상에도 기여할 수 있다.