DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with Global-Local Depth Normalization

Radiance fields have demonstrated impressive performance in synthesizing novel views from sparse input views, yet prevailing methods suffer from high training costs and slow inference speed. This paper introduces DNGaussian, a depth-regularized framework based on 3D Gaussian radiance fields, offering real-time and high-quality few-shot novel view synthesis at low costs. Our motivation stems from the highly efficient representation and surprising quality of the recent 3D Gaussian Splatting, despite it will encounter a geometry degradation when input views decrease. In the Gaussian radiance fields, we find this degradation in scene geometry primarily lined to the positioning of Gaussian primitives and can be mitigated by depth constraint. Consequently, we propose a Hard and Soft Depth Regularization to restore accurate scene geometry under coarse monocular depth supervision while maintaining a fine-grained color appearance. To further refine detailed geometry reshaping, we introduce Global-Local Depth Normalization, enhancing the focus on small local depth changes. Extensive experiments on LLFF, DTU, and Blender datasets demonstrate that DNGaussian outperforms state-of-the-art methods, achieving comparable or better results with significantly reduced memory cost, a 25 × reduction in training time, and over 3000 × faster rendering speed. Code is available at: https://github.com/Fictionarry/DNGaussian.

한 줄 요약

DNGaussian은 3D Gaussian Splatting 기반으로, 25× 훈련 시간 감소와 3000× 빠른 렌더링 속도를 달성한 저비용 높은 품질의 few-shot 뉴럴 라이트 필드 프레임워크이다.

핵심 기여도

**Hard and Soft Depth Regularization** 모듈을 통해 3D Gaussian 필드의 기하학적 정확도를 향상시키며, 색상 세부 정보 손실 없이 공간 재구성.
**Global-Local Depth Normalization**을 도입하여, 작은 지역 깊이 변화에 대한 정확도를 향상시키고, 렌더링 품질 개선.
LLFF, DTU, Blender 데이터셋에서 기존 최고 성능을 유지하거나 초과하면서, **25× 훈련 시간 감소**, **3000× 빠른 렌더링 속도**, **메모리 소비 감소**를 달성.
3D Gaussian Splatting에서 **코어 깊이 정보**를 기반으로 한 기하학 정규화 문제를 처음으로 분석하고 해결.

핵심 아이디어

기존 3D Gaussian Splatting은 입력 뷰가 적을 경우 기하학적 정확도가 저하되는 문제가 있다. 이는 Gaussian 원시체의 위치 결정 오류에서 비롯되며, 이를 **Hard and Soft Depth Regularization**을 통해 해결한다. 이 모듈은 Gaussian의 **모양 파라미터를 고정**하고, **중심 좌표와 불투명도만 조정**하여, 깊이 정규화를 수행한다. 이는 **색상 정보와 깊이 정보 간의 충돌**을 줄이고, 정확한 기하학을 유지하면서도 세부 텍스처를 보존한다.

또한, **Global-Local Depth Normalization**은 **전역 스케일과 지역 스케일**을 동시에 고려하여, 작은 깊이 변화를 강조하는 손실 함수를 설계한다. 이는 기존 스케일-인바리언트 손실이 작은 오류를 무시하는 문제를 해결하며, **복잡한 텍스처 영역의 재구성 정확도를 향상**시킨다.

기술적 접근법

**Hard and Soft Depth Regularization**:
Gaussian의 **모양 파라미터를 고정**하고, **중심 좌표와 불투명도만 조정**.
**두 가지 깊이 렌더링**을 통해, 중심과 불투명도를 독립적으로 조정.
**Global-Local Depth Normalization**:
**전역 스케일 정규화**와 **지역 스케일 정규화**를 결합.
**지역 패치 단위의 깊이 오류**를 강조하여, 세부 기하학 재구성 향상.
**데이터셋**: LLFF, DTU, Blender.
**훈련 시간**: 기존 대비 **25× 감소**, **렌더링 속도 3000× 향상**.

주요 결과

**LLFF, DTU, Blender** 데이터셋에서 기존 최고 성능 유지 또는 초과.
**훈련 시간 25× 감소**, **렌더링 속도 3000× 향상**, **메모리 소비 감소**.
**Hard and Soft Depth Regularization** 없이 훈련 시, 기하학 정확도 저하.
**Global-Local Depth Normalization**을 적용하면, **세부 텍스처 재구성 품질 향상**.

의의 및 한계

DNGaussian은 3D Gaussian Splatting의 기하학적 정확도를 향상시키며, **저비용, 빠른 렌더링**을 가능하게 하여, few-shot 뉴럴 라이트 필드의 실용성을 높인다. 특히, **깊이 정규화 문제**를 체계적으로 분석하고 해결한 점이 학술적 기여로 높이 평가된다.

하지만, **입력 뷰가 매우 적은 경우**에도 성능 저하 가능성은 남아 있으며, **모노카메라 깊이 추정기의 정확도**에 의존하는 한계가 있다. 또한, **복잡한 장면에서의 일반화 능력**은 추가 실험을 통해 검증이 필요하다.

실용적 활용

DNGaussian은 **실시간 렌더링이 필요한 AR/VR**, **저비용 3D 콘텐츠 생성**, **제한된 입력 뷰에서의 3D 재구성** 등에 적용 가능하다. 특히, **모바일 기기나 클라우드 환경**에서 빠른 훈련과 렌더링이 요구되는 상황에서 유용하다.