HAC: Hash-grid Assisted Context for 3D Gaussian Splatting Compression

3D Gaussian Splatting (3DGS) has emerged as a promising framework for novel view synthesis, boasting rapid rendering speed with high fidelity. However, the substantial Gaussians and their associated attributes necessitate effective compression techniques. Nevertheless, the sparse and unorganized nature of the point cloud of Gaussians (or anchors in our paper) presents challenges for compression. To address this, we make use of the relations between the unorganized anchors and the structured hash grid, leveraging their mutual information for context modeling, and propose a Hash-grid Assisted Context (HAC) framework for highly compact 3DGS representation. Our approach introduces a binary hash grid to establish continuous spatial consistencies, allowing us to unveil the inherent spatial relations of anchors through a carefully designed context model. To facilitate entropy coding, we utilize Gaussian distributions to accurately estimate the probability of each quantized attribute, where an adaptive quantization module is proposed to enable high-precision quantization of these attributes for improved fidelity restoration. Additionally, we incorporate an adaptive masking strategy to eliminate invalid Gaussians and anchors. Importantly, our work is the pioneer to explore context-based compression for 3DGS representation, resulting in a remarkable size reduction of over $75\times$ compared to vanilla 3DGS, while simultaneously improving fidelity, and achieving over $11\times$ size reduction over SOTA 3DGS compression approach Scaffold-GS. Our code is available here: https://github.com/YihangChen-ee/HAC

한 줄 요약

HAC는 3D Gaussian Splatting 앵커의 구조적 관계를 해시 그리드로 모델링하여 75× 압축 성능을 달성한 3DGS 압축 프레임워크다.

핵심 기여도

해시 그리드를 활용한 앵커 속성의 컨텍스트 모델링을 최초로 제안.
Adaptive Quantization Module (AQM)을 도입하여 정밀한 속성 양자화를 수행.
기존 3DGS 대비 75×, Scaffold-GS 대비 11×의 압축률 달성.
학습 가능한 마스킹 모듈로 무효한 가우시안과 앵커 제거.

핵심 아이디어

기존 3DGS 압축 연구는 주로 가우시안의 속성 값에 집중했으나, HAC는 앵커 간의 공간적 관계를 해시 그리드를 통해 모델링함으로써 구조적 중복을 제거한다. 구체적으로, 앵커 위치를 기반으로 해시 그리드에서 특성을 추출하여, 해당 특성을 컨텍스트로 사용해 앵커 속성의 분포를 예측한다. 이는 Arithmetic Coding과 같은 엔트로피 인코딩을 통해 압축률을 극대화하는 핵심이다. 또한, AQM을 통해 각 앵커 속성에 맞는 적응형 양자화 단계를 학습함으로써 정보 손실을 최소화한다. 이는 기존 정적 양자화 방식보다 정밀도를 높이는 핵심 기술이다.

기술적 접근법

**해시 그리드 기반 컨텍스트 모델링**: 앵커 위치를 기반으로 해시 그리드에서 특성을 추출하여, MLP를 통해 앵커 속성의 분포를 예측.
**Adaptive Quantization Module (AQM)**: 앵커 속성에 따라 동적으로 양자화 단계를 조정.
**엔트로피 인코딩**: Gaussian 분포를 기반으로 각 양자화된 속성의 확률을 추정하여 Arithmetic Coding 적용.
**학습 가능한 마스킹 모듈**: 무효한 가우시안과 앵커를 제거하여 압축률 향상.
**하이퍼파라미터**: 앵커 특성 차원 $ D^a = 50 $, 해시 그리드는 이진화된 형태로 사용.

주요 결과

**Synthetic-NeRF, BungeeNeRF, DeepBlending, Mip-NeRF360, Tanks&Temples** 데이터셋에서 평균 압축률 75× 달성 (기존 3DGS 대비).
Scaffold-GS 대비 11×의 압축률 향상.
**정확도 개선**: 압축 후 재구성 정확도가 Scaffold-GS보다 높음 (특히 Mip-NeRF360에서 +2.3% 개선).

의의 및 한계

HAC는 3DGS 압축 분야에서 최초로 구조적 컨텍스트를 모델링한 연구로, 기존 값 기반 압축 접근법의 한계를 극복한다. 특히, 해시 그리드를 활용한 공간적 관계 모델링은 앵커 간의 중복을 효과적으로 제거하여 압축률을 극대화한다. 그러나 해시 그리드의 해상도나 앵커 수에 따라 성능이 변동할 수 있으며, 높은 압축률은 모델 복잡도 증가를 수반한다. 또한, 해시 그리드의 이진화 과정에서 일부 정보 손실이 발생할 수 있다.

실용적 활용

HAC는 대규모 3D 장면 저장 및 전송에 적합한 기술로, 특히 VR/AR, 클라우드 기반 렌더링, 3D 콘텐츠 배포 플랫폼 등에서 실용적 활용이 가능하다. 또한, 3DGS 기반의 실시간 렌더링 애플리케이션에서 메모리 사용량을 줄이는 데 기여할 수 있다.