GaussianFormer: Scene as Gaussians for Vision-Based 3D Semantic Occupancy Prediction

3D semantic occupancy prediction aims to obtain 3D fine-grained geometry and semantics of the surrounding scene and is an important task for the robustness of vision-centric autonomous driving. Most existing methods employ dense grids such as voxels as scene representations, which ignore the sparsity of occupancy and the diversity of object scales and thus lead to unbalanced allocation of resources. To address this, we propose an object-centric representation to describe 3D scenes with sparse 3D semantic Gaussians where each Gaussian represents a flexible region of interest and its semantic features. We aggregate information from images through the attention mechanism and iteratively refine the properties of 3D Gaussians including position, covariance, and semantics. We then propose an efficient Gaussian-to-voxel splatting method to generate 3D occupancy predictions, which only aggregates the neighboring Gaussians for a certain position. We conduct extensive experiments on the widely adopted nuScenes and KITTI-360 datasets. Experimental results demonstrate that GaussianFormer achieves comparable performance with state-of-the-art methods with only 17.8% - 24.8% of their memory consumption. Code is available at: https://github.com/huang-yh/GaussianFormer.

한 줄 요약

GaussianFormer는 3D 가우시안을 기반으로 한 효율적인 3D 세마틱 오쿠퍼런시 예측 모델로, nuScenes와 KITTI-360 데이터셋에서 기존 최고 성능 모델 대비 17.8%~24.8%의 메모리 소비만으로 유사한 성능을 달성한다.

핵심 기여도

3D 가우시안 기반의 객체 중심 표현을 제안하여, 기존 격자 기반 방법의 불균형 자원 할당 문제를 해결.
주의 메커니즘과 반복적 최적화를 통해 3D 가우시안의 위치, 공분산, 세마틱 정보를 학습.
효율적인 Gaussian-to-voxel splatting 모듈을 제안하여, 특정 위치에 인접 가우시안만 집계함으로써 예측 속도 향상.
nuScenes와 KITTI-360 데이터셋에서 기존 최고 성능 모델 대비 17.8%~24.8%의 메모리 소비만으로 유사한 성능 달성.

핵심 아이디어

기존 3D 오쿠퍼런시 예측 방법은 격자(grid) 기반 표현을 사용하여, 주변 공간의 희소성과 객체의 다양한 크기를 무시하고 불균형한 자원 할당을 초래한다. 이를 해결하기 위해 GaussianFormer는 객체 중심의 3D 가우시안 표현을 도입한다. 각 가우시안은 객체의 유연한 관심 영역과 세마틱 정보를 나타내며, 주의 메커니즘을 통해 이미지 정보를 집약하고, 위치, 공분산, 세마틱 정보를 반복적으로 최적화한다. 이는 기존 격자 기반 방법의 고정된 표현 방식과 달리, 객체의 실제 형태와 크기에 따라 유연하게 표현할 수 있는 장점을 가진다.

기술적 접근법

**3D Semantic Gaussians**: 각 가우시안은 평균(mean), 공분산(covariance), 세마틱 범주로 구성된 유연한 관심 영역을 표현.
**Cross-attention Mechanism**: 다중 스케일 이미지 특징에서 정보를 집약하여 3D 가우시안 초기화 및 최적화.
**Iterative Refinement**: 반복적 최적화를 통해 가우시안의 위치, 공분산, 세마틱 정보를 개선.
**3D Sparse Convolutions**: 가우시안 간 상호작용 처리를 위해 3D 희소 합성곱 사용.
**Gaussian-to-voxel Splatting**: 인접 가우시안만 집계하여 3D 오쿠퍼런시 예측.
**Hyperparameters**: 51200개의 가우시안을 사용한 실험에서 성능이 안정적으로 증가함을 확인.

주요 결과

**nuScenes 데이터셋**: 기존 최고 성능 모델 대비 17.8%~24.8%의 메모리 소비만으로 유사한 성능 달성.
**KITTI-360 데이터셋**: 단일 카메라 기반에서도 기존 최고 성능 모델과 유사한 성능 보임.
**mIoU**: SurroundOcc와 OccFormer와 유사한 수준의 성능 유지.
**소형 객체 예측**: 모터사이클, other-vehicle 등 소형 및 일반 객체 예측에서 뛰어난 성능.

의의 및 한계

GaussianFormer는 3D 오쿠퍼런시 예측에서 희소성과 객체 크기 다양성을 효과적으로 활용하는 새로운 표현 방식을 제시한다. 3D 가우시안은 유연한 표현 능력과 낮은 메모리 소비를 결합하여, 비전 중심 자율 주행 시스템의 실용성을 높이는 데 기여할 수 있다. 그러나, 기존 최고 성능 모델보다 약간 낮은 성능을 보이는 점은 3D 가우시안 표현의 정확도나 하이퍼파라미터 설정의 한계로 추정된다. 또한, 높은 성능을 위해 많은 수의 가우시안이 필요하며, 이는 여전히 자원 소비 측면에서 한계를 가질 수 있다.

실용적 활용

GaussianFormer는 자율 주행 시스템에서 3D 환경 인식을 효율적으로 수행할 수 있는 기술로, 특히 메모리 제한이 있는 실시간 시스템에 적합하다. 또한, 4D 오쿠퍼런시 예측, 자기 감시 3D 장면 이해 등 다양한 비전 기반 3D 태스크에도 적용 가능하다.