OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding

This paper introduces OpenGaussian, a method based on 3D Gaussian Splatting (3DGS) capable of 3D point-level open vocabulary understanding. Our primary motivation stems from observing that existing 3DGS-based open vocabulary methods mainly focus on 2D pixel-level parsing. These methods struggle with 3D point-level tasks due to weak feature expressiveness and inaccurate 2D-3D feature associations. To ensure robust feature presentation and 3D point-level understanding, we first employ SAM masks without cross-frame associations to train instance features with 3D consistency. These features exhibit both intra-object consistency and inter-object distinction. Then, we propose a two-stage codebook to discretize these features from coarse to fine levels. At the coarse level, we consider the positional information of 3D points to achieve location-based clustering, which is then refined at the fine level. Finally, we introduce an instance-level 3D-2D feature association method that links 3D points to 2D masks, which are further associated with 2D CLIP features. Extensive experiments, including open vocabulary-based 3D object selection, 3D point cloud understanding, click-based 3D object selection, and ablation studies, demonstrate the effectiveness of our proposed method. The source code is available at our project page: https://3d-aigc.github.io/OpenGaussian

한 줄 요약

OpenGaussian은 3D 점 수준의 오픈 보코버리(open vocabulary) 이해를 위한 3D Gaussian Splatting 기반 방법으로, SAM 마스크와 두 단계 코드북을 활용해 3D-2D 특징 연관성을 개선한다.

핵심 기여도

SAM 마스크를 활용한 3D 일관성 인스턴스 특징 학습 (Intra-mask smoothing loss, Inter-mask contrastive loss 포함).
위치 정보를 고려한 2단계 코드북(64 → 320)을 통해 3D 점 클러스터링 정확도 향상.
인스턴스 수준의 3D-2D CLIP 특징 연관 방법 제안 (IoU + 특징 거리 기반).
ScanNet 데이터셋에서 3.05% mIoU, 2.76% mAcc 개선.

핵심 아이디어

기존 3DGS 기반 오픈 보코버리 방법은 2D 픽셀 수준에 집중하여 3D 점 수준에서 약한 특징 표현력과 정확하지 않은 2D-3D 특징 연관성을 보였다. OpenGaussian은 이 문제를 해결하기 위해 3D 점 수준에서 구조화된 인스턴스 특징을 학습하고, 이를 2D CLIP 특징과 연관시킨다. SAM 마스크를 사용하여 3D 일관성을 유지하면서 인스턴스 특징을 학습하고, 위치 정보를 고려한 2단계 코드북을 통해 특징을 이산화한다. 또한, 인스턴스 수준의 3D-2D 연관성을 위해 IoU와 특징 거리 기반의 방법을 제안하여, 3D 점과 2D 마스크 간의 정확한 매칭을 가능하게 한다.

기술적 접근법

**SAM 마스크 기반 인스턴스 특징 학습**: Intra-mask smoothing loss와 Inter-mask contrastive loss를 사용하여 3D 일관성과 객체 간 구별성을 확보.
**2단계 코드북**: 64개의 초기 코드에서 320개로 확장하며, 위치 정보를 고려한 클러스터링을 통해 3D 점의 공간적 일관성을 유지.
**3D-2D 연관 방법**: 인스턴스 렌더링 결과와 SAM 마스크의 IoU, 인스턴스 특징과 CLIP 특징 간 거리를 기반으로 3D 점과 2D 마스크를 매칭.
**하이퍼파라미터**: 코드북 크기(k)는 64 → 320로 설정, 3D 점 특징은 CLIP의 고차원 특징을 사용.

주요 결과

ScanNet 데이터셋에서 mIoU 3.05%, mAcc 2.76% 개선.
단일 레이어 코드북(k=64) 대비 2단계 코드북(k=64→320) 사용 시 28% mIoU 향상.
Intra-mask smoothing loss 추가 시 mIoU 3.05%, mAcc 2.76% 추가 개선.
2D-3D 연관 전략 별 성능: IoU 기반, 특징 거리 기반, 결합 전략 모두 유의미한 결과를 보임.

의의 및 한계

OpenGaussian은 3DGS 기반 오픈 보코버리 이해를 3D 점 수준으로 확장하여, 기존 2D 중심 접근의 한계를 극복한다. SAM 마스크와 2단계 코드북을 활용한 구조는 3D 점의 공간적 일관성과 구별성을 동시에 달성하며, CLIP 특징과의 연관을 통해 언어 기반 인식을 가능하게 한다. 그러나, Gaussian의 기하학적 속성(위치, 불투명도, 스케일)은 고정되어 있어, 기하학적 표현과 의미 표현 간의 불일치가 발생할 수 있다. 또한, 코드북 크기(k)는 경험적으로 결정되며, 다양한 상황에 최적화된 적응형 파라미터 연구가 필요하다. 마지막으로, 동적 요소나 3D 객체 크기 회귀는 고려되지 않았다.

실용적 활용

OpenGaussian은 로봇, 증강현실(AR), 자율주행 등 3D 환경에서의 객체 인식과 상호작용이 필요한 분야에 적용 가능하다. 특히, 3D 점 수준의 언어 기반 인식을 통해, 사용자 입력(예: 클릭)을 기반으로 객체를 선택하거나, 새로운 개념을 학습하지 않고도 3D 환경을 해석하는 시스템 개발에 활용할 수 있다.