Monte Carlo Energy Aggregation for Mobile 3D Gaussian Splatting

Recent advances in 3D Gaussian Splatting have demonstrated unprecedented success in novel view synthesis. However, the substantial inference and storage overhead driven by high-order Spherical Harmonics (SH) are primary bottlenecks for mobile platforms. In this paper, we present Flux-GS, a real-time Gaussian Splatting method designed to achieve high-fidelity rendering with significantly reduced overhead for resource-constrained mobile platforms. We first propose a Monte Carlo Specular Energy Aggregator, sampling third-order radiance residuals and aggregating specular energy into a compact latent space. In this way, our method effectively preserves visually salient lighting features in lower-order bands without expensive distillation or pre-training. To mitigate the high-frequency details lost during compression, we introduce an Attribute-Conditioned SH Enhancement module. This module predicts Gaussian-aware offsets based on intrinsic Gaussian attributes, which enhance the first-order SH representation prior to inference, without extra inference costs. Furthermore, the original single-view gradient-based densification is prone to producing excessive Gaussians and overfitting to a certain view. We address these limitations by proposing a Multi-view Alpha-based Densification and Pruning strategy. By leveraging multi-view guidance, we ensure multi-view structure consistency and the precise removal of redundant primitives. Extensive experiments demonstrate that Flux-GS achieves substantial parameter reduction while maintaining competitive visual quality, offering a robust and scalable solution for real-time mobile rendering. Code: magenta{https://xiaobiaodu.github.io/flux-gs-project/{https://xiaobiaodu.github.io/flux-gs-project/}}.

한 줄 요약

Flux-GS는 모바일 환경에서 실시간 렌더링을 가능하게 하며, SH 계수를 48개에서 4개로 줄여 저장 공간을 대폭 절감한 3D Gaussian Splatting 방법이다.

핵심 기여도

**Monte Carlo Specular Energy Aggregator**를 제안하여 3차 SH 잔차를 샘플링하고, 광택 에너지를 낮은 차수 공간으로 압축하여 SH 계수를 48개에서 4개로 줄임.
**Attribute-Conditioned SH Enhancement 모듈**을 통해 SH 향상이 추론 단계에서 추가 비용 없이 이루어짐.
**Multi-view Alpha-based Densification and Pruning 전략**을 도입하여 Gaussians 수를 줄이고 다각도 구조 일관성을 보장함.
모바일 기기에서 **FPS 향상**과 **저장 공간 절감**을 달성하며, Mobile-GS 대비 빠른 추론 속도를 보임.

핵심 아이디어

Flux-GS는 고차 SH 계수의 저장 및 계산 비용을 줄이기 위해 **Monte Carlo Specular Energy Aggregator**를 도입한다. 이 모듈은 3차 SH 잔차를 샘플링하여 광택 에너지를 낮은 차수 공간으로 압축함으로써, 시각적으로 중요한 라이팅 정보를 유지하면서 SH 계수를 48개에서 4개로 줄인다. 이는 별도의 디스틸레이션이나 사전 학습 없이 이루어진다. 또한, 압축 과정에서 손실된 고주파 세부 정보를 보완하기 위해 **Attribute-Conditioned SH Enhancement 모듈**을 제안한다. 이 모듈은 Gaussian의 고유 속성을 기반으로 SH 계수 오프셋을 예측하여 1차 SH 표현을 향상시키며, 추론 단계에서 추가 비용이 발생하지 않는다.

또한, 기존의 단일 뷰 기반 **gradient-based densification**가 Gaussians 수를 과도하게 증가시키고 특정 뷰에 과적합되는 문제를 해결하기 위해 **Multi-view Alpha-based Densification and Pruning 전략**을 제안한다. 이 전략은 다각도 정보를 활용하여 불필요한 Gaussians을 정확히 제거하고, 구조 일관성을 유지한다.

기술적 접근법

**Monte Carlo Specular Energy Aggregator**: 3차 SH 잔차 샘플링 → 광택 에너지 압축 → 1차 SH 표현 유지.
**Attribute-Conditioned SH Enhancement**: Gaussian 속성 기반 MLP → SH 오프셋 예측 → 추론 비용 없이 1차 SH 향상.
**Multi-view Alpha-based Densification and Pruning**: 다각도 오류 기반 α 가중치 → Gaussians 정밀 제거 및 밀도 증가.
**SH 계수**: 3차 SH (48개) → 1차 SH (4개)로 감소.
**Gaussian 수**: Mobile-GS 대비 감소, 추론 속도 향상.

주요 결과

**PSNR**: 기존 모델 대비 경쟁력 있는 렌더링 품질 유지.
**Gaussian 수**: Mobile-GS 대비 감소 (정확한 수치 명시되지 않음).
**FPS**: 모바일 기기에서 빠른 추론 속도 달성 (정확한 수치 명시되지 않음).
**SH 계수**: 48개 → 4개로 감소 → 저장 공간 절감.
**추론 비용**: SH Enhancement 모듈은 추론 단계에서 추가 비용 없이 작동.

의의 및 한계

Flux-GS는 고차 SH 계수의 저장 및 계산 비용을 줄이며, 모바일 기기에서 실시간 렌더링을 가능하게 하는 중요한 기여를 한다. 특히, 별도의 디스틸레이션 없이 SH 표현을 향상시키는 점에서 학술적 가치가 높다. 또한, 다각도 구조 일관성을 유지하는 **Multi-view Densification and Pruning** 전략은 Gaussians 수를 줄이며 정확도를 유지하는 데 기여한다.

그러나, 구체적인 PSNR 향상 폭이나 FPS 개선 수치는 명시되지 않았으며, 모바일 기기에서의 확장성에 대한 실험 데이터도 부족하다. 또한, 압축 과정에서 일부 고주파 정보가 손실될 수 있으며, 이는 특정 장면에서 렌더링 품질 저하를 유발할 수 있다.

실용적 활용

Flux-GS는 모바일 기기에서의 실시간 3D 렌더링, AR/VR, 자율주행, 네비게이션 등에 적용 가능하다. 특히, 고해상도 3D 씬을 저비용으로 표현할 수 있어, 리소스 제약이 있는 엣지 기기에서의 3DGS 배포를 가능하게 한다.