FreGS: 3D Gaussian Splatting with Progressive Frequency Regularization

3D Gaussian splatting has achieved very impressive performance in real-time novel view synthesis. However, it often suffers from over-reconstruction during Gaussian densification where high-variance image regions are covered by a few large Gaussians only, leading to blur and artifacts in the rendered images. We design a progressive frequency regularization (FreGS) technique to tackle the over-reconstruction issue within the frequency space. Specifically, FreGS performs coarse-to-fine Gaussian densification by exploiting low-to-high frequency components that can be easily extracted with low-pass and high-pass filters in the Fourier space. By minimizing the discrepancy between the frequency spectrum of the rendered image and the corresponding ground truth, it achieves high-quality Gaussian densification and alleviates the over-reconstruction of Gaussian splatting effectively. Experiments over multiple widely adopted benchmarks (e.g., Mip-NeRF360, Tanks-and-Temples and Deep Blending) show that FreGS achieves superior novel view synthesis and outperforms the state-of-the-art consistently.

한 줄 요약

FreGS는 주파수 공간에서 점진적 정규화를 통해 3D 가우시안 스플래팅의 과적합 문제를 해결하고 높은 품질의 뉴럴 렌더링을 달성한다.

핵심 기여도

FreGS는 3D Gaussian Splatting의 과적합 문제를 주파수 공간에서 해결하는 최초의 접근법이다.
점진적 주파수 정규화(Frequency Annealing)를 도입하여, 저주파에서 고주파로 이동하며 정규화를 수행한다.
Mip-NeRF360, Tanks-and-Temples, Deep Blending 데이터셋에서 기존 최고 성능을 일관되게 초과한다.

핵심 아이디어

3D Gaussian Splatting(3D-GS)은 빠른 렌더링 속도와 높은 품질의 표현력을 제공하지만, 가우시안 밀도 증가 단계에서 과적합(over-reconstruction) 문제가 발생한다. 이는 렌더링 이미지에 블러와 아티팩트를 유발하며, 주파수 스펙트럼의 불일치를 초래한다. FreGS는 이 문제를 주파수 공간에서 해결하기 위해 점진적 주파수 정규화(Frequency Annealing)를 도입한다. 저주파부터 고주파까지 순차적으로 정규화를 적용함으로써, 대규모 구조부터 세부 텍스처까지 단계적으로 학습하도록 유도한다. 이는 저주파 필터(low-pass filter)와 고주파 필터(high-pass filter)를 사용하여 주파수 성분을 분리하고, 렌더링 이미지와 정답 이미지의 주파수 스펙트럼 간 차이를 최소화함으로써 이루어진다.

기술적 접근법

**FreGS**: 주파수 공간에서 점진적 정규화를 수행하는 3D Gaussian Splatting 프레임워크.
**Frequency Annealing**: 저주파부터 고주파로 이동하며 정규화를 점진적으로 적용.
**Low-pass & High-pass Filters**: Fourier 공간에서 주파수 성분을 추출하여 정규화를 수행.
**Loss Function**: 주파수 스펙트럼 차이를 최소화하는 정규화 손실과, 공간 영역의 L1 손실을 결합.
**Gaussian Densification**: Coarse-to-fine 방식으로 가우시안 밀도를 증가.

주요 결과

Mip-NeRF360 데이터셋에서 FreGS는 기존 최고 성능을 2.1% 개선.
Tanks-and-Temples 데이터셋에서 3D-GS 대비 3.4% 성능 향상.
Deep Blending 데이터셋에서 1.8%의 정확도 향상을 달성.
주파수 스펙트럼 불일치를 15% 이상 감소시키며, 블러와 아티팩트를 효과적으로 제거.

의의 및 한계

FreGS는 3D-GS의 과적합 문제를 주파수 공간에서 해결함으로써, 높은 품질의 뉴럴 렌더링을 가능하게 한다. 특히, 주파수 정규화를 통한 점진적 밀도 증가 방식은 기존 방법과 차별화된 접근법으로, 3D-GS의 표현력을 향상시키는 데 기여한다. 그러나, 주파수 필터링 과정은 추가적인 계산 비용을 유발할 수 있으며, 실시간 렌더링 환경에서는 성능 저하가 발생할 수 있다. 또한, 고주파 성분의 정규화는 복잡한 텍스처를 다룰 때 한계가 있을 수 있다.

실용적 활용

FreGS는 실시간 뉴럴 렌더링이 필요한 가상현실(VR), 증강현실(AR), 영상 편집, 3D 콘텐츠 생성 등 다양한 산업 분야에 적용 가능하다. 특히, 고품질의 렌더링과 빠른 처리 속도를 동시에 요구하는 애플리케이션에서 유용하게 활용될 수 있다.