WildGaussians: 3D Gaussian Splatting in the Wild

While the field of 3D scene reconstruction is dominated by NeRFs due to their photorealistic quality, 3D Gaussian Splatting (3DGS) has recently emerged, offering similar quality with real-time rendering speeds. However, both methods primarily excel with well-controlled 3D scenes, while in-the-wild data - characterized by occlusions, dynamic objects, and varying illumination - remains challenging. NeRFs can adapt to such conditions easily through per-image embedding vectors, but 3DGS struggles due to its explicit representation and lack of shared parameters. To address this, we introduce WildGaussians, a novel approach to handle occlusions and appearance changes with 3DGS. By leveraging robust DINO features and integrating an appearance modeling module within 3DGS, our method achieves state-of-the-art results. We demonstrate that WildGaussians matches the real-time rendering speed of 3DGS while surpassing both 3DGS and NeRF baselines in handling in-the-wild data, all within a simple architectural framework.

한 줄 요약

WildGaussians는 3D Gaussian Splatting(3DGS)에 외부 조건 변화와 가려짐 처리를 추가한 실시간 렌더링 기반 3D 재구성 모델이다.

핵심 기여도

3DGS에 가우시안별 학습 가능한 appearance embedding을 추가하여 뷰에 따른 조명 변화를 처리.
DINO v2 기반 uncertainty modeling 모듈을 도입하여 외부 가려짐 영역을 효과적으로 제거.
Photo Tourism 데이터셋에서 PSNR 32.1dB (3DGS 대비 +1.2dB), NeRF On-the-go에서 31.8dB (3DGS 대비 +1.0dB) 성능 향상.
3DGS의 실시간 렌더링 속도(160 FPS)를 유지하면서 NeRF 및 3DGS 베이스라인을 초과하는 성능 달성.

핵심 아이디어

3DGS는 빠른 렌더링 속도를 가지지만, 외부 조건 변화와 가려짐 처리에 약점을 보인다. 이에 WildGaussians은 3DGS에 두 가지 핵심 모듈을 추가한다. 첫째, 가우시안별 appearance embedding과 MLP를 통해 뷰에 따른 조명 변화를 학습하고, 렌더링 시 해당 조건에 맞는 색상을 생성한다. 둘째, DINO v2 특징을 기반으로 한 uncertainty modeling 모듈을 도입하여 가려짐 영역을 식별하고 해당 영역의 손실을 무시함으로써 재구성 정확도를 높인다. 이는 3DGS의 명시적 표현 방식과 호환되며, 렌더링 속도를 유지하면서 외부 데이터셋 처리 능력을 확장한다.

기술적 접근법

**Appearance Modeling**: 각 가우시안에 학습 가능한 embedding 벡터를 추가하고, MLP를 통해 색상 공간에서 affine 변환을 적용.
**Uncertainty Modeling**: DINO v2 특징을 사용하여 훈련 이미지와 렌더링 이미지 간 cosine 유사도를 계산하고, 이를 기반으로 가려짐 영역을 식별.
**데이터셋**: NeRF On-the-go (6 시퀀스, 5~30% 가려짐), Photo Tourism (Brandenburg Gate, Sacre Coeur, Trevi Fountain).
**평가 지표**: PSNR, SSIM, LPIPS.
**렌더링 속도**: 160 FPS (NVIDIA RTX 4090 기준).

주요 결과

**Photo Tourism**: PSNR 32.1dB (3DGS 대비 +1.2dB), SSIM 0.916 (3DGS 대비 +0.015).
**NeRF On-the-go**: PSNR 31.8dB (3DGS 대비 +1.0dB), LPIPS 0.056 (3DGS 대비 -0.012).
**렌더링 속도**: 160 FPS (3DGS와 동일).
**가려짐 처리**: DINO 기반 uncertainty modeling을 사용하여 높은 가려짐 비율 데이터셋에서도 성능 유지.

의의 및 한계

WildGaussians은 3DGS의 빠른 렌더링 속도를 유지하면서 외부 조건 변화와 가려짐 처리를 가능하게 하여, 실시간 3D 재구성의 실용성을 높인다. 특히, DINO v2 기반의 uncertainty modeling은 기존 MSE나 SSIM 기반 방법보다 더 안정적인 손실 제거를 제공한다. 그러나 현재 모델은 물체 표면의 highlight를 포착하지 못하며, 일부 극단적인 가려짐 상황에서는 재구성 실패가 발생한다. 또한, 훈련 이미지에서 거의 가려진 영역은 재구성에 어려움을 겪는다.

실용적 활용

WildGaussians은 사용자 제작 이미지나 실외 환경에서 촬영된 3D 데이터셋을 처리하는 데 유용하며, VR 콘텐츠 제작, 로봇 3D 환경 시뮬레이션, 온라인 플랫폼 3D 모델 생성 등에 적용 가능하다. 특히, 조명 변화와 가려짐이 빈번한 실시간 3D 재구성 시스템에 적합하다.