SGS-SLAM: Semantic Gaussian Splatting For Neural Dense SLAM

We present SGS-SLAM, the first semantic visual SLAM system based on Gaussian Splatting. It incorporates appearance, geometry, and semantic features through multi-channel optimization, addressing the oversmoothing limitations of neural implicit SLAM systems in high-quality rendering, scene understanding, and object-level geometry. We introduce a unique semantic feature loss that effectively compensates for the shortcomings of traditional depth and color losses in object optimization. Through a semantic-guided keyframe selection strategy, we prevent erroneous reconstructions caused by cumulative errors. Extensive experiments demonstrate that SGS-SLAM delivers state-of-the-art performance in camera pose estimation, map reconstruction, precise semantic segmentation, and object-level geometric accuracy, while ensuring real-time rendering capabilities.

한 줄 요약

SGS-SLAM은 Gaussian Splatting 기반으로, RGB-D SLAM에서 최고 수준의 지도 재구성과 세분화된 세멘틱 세그멘테이션을 달성한 첫 번째 시스템이다.

핵심 기여도

**SGS-SLAM**은 첫 번째 **Semantic Gaussian Splatting 기반 SLAM 시스템**으로, 3D 가우시안 표현을 기반으로 지도 재구성과 카메라 추적을 실시간으로 수행한다.
**Semantic Feature Loss**를 도입하여 기존의 깊이 및 색상 손실의 한계를 보완하며, **객체 최적화**를 개선한다.
**Semantic-Guided Keyframe Selection Strategy**를 통해 누적 오류로 인한 오류 재구성을 방지한다.
**Replica 데이터셋**에서 **PSNR 10dB 이상 개선**, **ATE RMSE 34% 감소** 등의 수치적 성능 향상을 보인다.

핵심 아이디어

SGS-SLAM은 기존 NeRF 기반 SLAM 시스템의 **over-smoothing 문제**와 **계산 비효율성**을 해결하기 위해 **3D Gaussian Radiance Field**를 도입한다. 이는 3D 공간을 **가우시안 원자들로 표현**하여 빠른 렌더링과 **직접적인 파라미터 최적화**가 가능하다.

기존 NeRF는 MLP를 사용하여 **계층적 픽셀 샘플링**과 **비선형 레이어를 통한 간접적 그래디언트 흐름**을 필요로 하지만, SGS-SLAM은 **가우시안의 매개변수에 직접 그래디언트가 흐르므로** 최적화가 효율적이다. 또한, **다중 채널 최적화 전략**(외관, 기하학, 세멘틱)을 통해 카메라 추적과 지도 재구성의 정확도를 높인다.

특히, **2D 세멘틱 맵**을 3D 가우시안 필드에 통합하여 **실시간 외관, 깊이, 세멘틱 색상 렌더링**을 가능하게 하며, **객체별 분리 표현**을 통해 **편집 및 조작**이 용이하다.

기술적 접근법

**Gaussian Splatting 기반 3D 표현**을 사용하여, **3D 공간의 원자적 가우시안**으로 표현.
**Multi-channel Optimization**을 통해 외관, 기하학, 세멘틱 정보를 결합.
**Semantic Feature Loss**를 도입하여, 기존의 깊이 및 색상 손실의 한계를 보완.
**Semantic-Guided Keyframe Selection**: 기하학적 및 세멘틱 기준을 기반으로 키프레임 선택.
**Keyframe Optimization** 과정에서 **불확실성 가중치**를 적용하여, 신뢰도 높은 키프레임만 선택.
**SGS-SLAM**은 **Tracking**과 **Mapping**의 두 단계로 구성. Tracking은 카메라 포즈 추정, Mapping은 지도 최적화.

주요 결과

**Replica 데이터셋**에서 **PSNR 10dB 이상 개선** (기존 NeRF 기반 방법 대비).
**ATE RMSE (cm)**에서 **34% 감소**, **Depth L1 Loss (cm)**에서 **70% 감소**.
**세멘틱 세그멘테이션 정확도**에서 기존 방법 대비 **10% 이상 향상**.
**SplaTAM** 대비 **세멘틱 정보 활용**으로 객체 경계 정확도 향상.
**ScanNet scene0000**에서 **Bike, Guitar, Garbage Bin** 등 객체 정확히 재구성.

의의 및 한계

SGS-SLAM은 **NeRF 기반 SLAM의 over-smoothing 문제**를 해결하고, **실시간 렌더링**과 **고정확도 세멘틱 세그멘테이션**을 동시에 달성한 점에서 학술적·실용적 가치가 높다. 특히, **가우시안 기반 표현**은 **객체별 분리 표현**을 가능하게 하여, **로봇, 메타버스, AR/VR** 등 다양한 분야에서 활용 가능하다.

그러나, **복잡한 장면에서의 메모리 사용량**이나 **초기 키프레임 선택의 정확도**는 여전히 개선이 필요한 부분이다. 또한, **오프라인 메시 기반의 Ground Truth**와 비교 시, 일부 **정확도 제한**이 존재하며, **실시간 성능 향상**이 추가 연구 주제로 제시된다.

실용적 활용

SGS-SLAM은 **로봇의 실시간 환경 인식**, **메타버스 및 AR/VR의 3D 맵 생성**, **자율 주행 시스템의 정밀 지도 재구성** 등에 적용 가능하다. 특히, **세멘틱 정보 기반의 객체 편집 및 조작** 기능은 **산업 자동화**, **디지털 트윈**, **실내 네비게이션** 등에서 활용 가능하다.