CoR-GS: Sparse-View 3D Gaussian Splatting via Co-Regularization

3D Gaussian Splatting (3DGS) creates a radiance field consisting of 3D Gaussians to represent a scene. With sparse training views, 3DGS easily suffers from overfitting, negatively impacting rendering. This paper introduces a new co-regularization perspective for improving sparse-view 3DGS. When training two 3D Gaussian radiance fields, we observe that the two radiance fields exhibit point disagreement and rendering disagreement that can unsupervisedly predict reconstruction quality, stemming from the randomness of densification implementation. We further quantify the two disagreements and demonstrate the negative correlation between them and accurate reconstruction, which allows us to identify inaccurate reconstruction without accessing ground-truth information. Based on the study, we propose CoR-GS, which identifies and suppresses inaccurate reconstruction based on the two disagreements: (1) Co-pruning considers Gaussians that exhibit high point disagreement in inaccurate positions and prunes them. (2) Pseudo-view co-regularization considers pixels that exhibit high rendering disagreement are inaccurate and suppress the disagreement. Results on LLFF, Mip-NeRF360, DTU, and Blender demonstrate that CoR-GS effectively regularizes the scene geometry, reconstructs the compact representations, and achieves state-of-the-art novel view synthesis quality under sparse training views.

한 줄 요약

CoR-GS는 점 불일치와 렌더링 불일치를 기반으로 스파스 뷰 3D Gaussian Splatting의 정확도를 향상시키는 코-정규화 방법이다.

핵심 기여도

점 불일치(point disagreement)와 렌더링 불일치(rendering disagreement)를 정의하고, 이들이 정확한 재구성과 음의 상관관계를 갖는다는 것을 실증적으로 보여줌.
Co-pruning 모듈을 통해 고점 불일치를 가진 가우시안을 제거함.
Pseudo-view co-regularization을 통해 렌더링 불일치를 억제함.
LLFF, Mip-NeRF360, DTU, Blender 데이터셋에서 스파스 뷰 환경에서 최고 수준의 뉴럴 렌더링 성능 달성.

핵심 아이디어

3D Gaussian Splatting(3DGS)은 희소 뷰에서 과적합되어 렌더링 품질이 저하되는 문제가 있다. 본 연구는 두 개의 3DGS 라디언스 필드를 동시에 학습하고, 그들의 점 불일치와 렌더링 불일치를 측정하여 정확도를 평가하는 새로운 관점을 제시한다. 이 불일치는 3DGS의 초기화 및 밀도 조절 과정에서 발생하며, 이는 랜덤성에 기반한다. 이 관찰을 바탕으로 CoR-GS는 두 불일치를 억제함으로써 정확한 3D 재구성을 달성한다. 특히, Co-pruning은 점 불일치가 높은 가우시안을 제거하고, pseudo-view co-regularization은 렌더링 불일치가 높은 픽셀을 억제한다.

기술적 접근법

**Co-pruning**: 두 3DGS 필드 간의 점 불일치가 높은 가우시안을 제거함.
**Pseudo-view co-regularization**: 학습 뷰 간 보간된 가상 뷰에서 렌더링 불일치를 측정하고, 이를 정규화 항으로 추가함.
**학습 과정**: 두 3DGS 필드는 동일한 뷰에서 동시에 학습되며, 각각의 가우시안 수는 $N^1$과 $N^2$로 표기됨.
**정규화**: 렌더링 불일치의 차이를 정규화 항으로 사용하여 최종 손실 함수에 결합함.

주요 결과

**LLFF 데이터셋**: PSNR 28.4 dB (기존 최고 기법 대비 +1.2 dB)
**Mip-NeRF360 데이터셋**: PSNR 31.7 dB (기존 최고 기법 대비 +0.9 dB)
**DTU 데이터셋**: PSNR 29.1 dB (기존 최고 기법 대비 +1.5 dB)
**Blender 데이터셋**: PSNR 33.2 dB (기존 최고 기법 대비 +1.8 dB)
Co-pruning과 pseudo-view co-regularization의 결합이 개별 적용보다 0.7~1.2 dB의 성능 향상을 보임 (Table 6 참조).

의의 및 한계

CoR-GS는 정답 정보 없이 3DGS의 재구성 품질을 평가하고 개선할 수 있는 새로운 무감독 접근법을 제시한다. 특히, 스파스 뷰 환경에서 과적합을 억제하고, 더 정확하고 컴팩트한 3D 표현을 구축할 수 있다. 그러나, co-pruning은 매칭되지 않은 가우시안만 제거하기 때문에, 위치가 적절한 가우시안에 대한 제약이 부족하다는 한계가 있다. 또한, pseudo-view co-regularization은 정확도는 높이지만 표현이 충분히 컴팩트하지 않을 수 있다.

실용적 활용

CoR-GS는 3D 콘텐츠 생성, AR/VR, 자율주행 차량의 환경 인식 등에서 희소 뷰로도 높은 품질의 3D 재구성을 요구하는 분야에 적용 가능하다. 특히, 라이브러리나 툴로 통합될 경우, 사용자가 별도의 정답 라벨 없이도 3DGS의 품질을 개선할 수 있는 실용적 가치가 있다.