PointMamba: A Simple State Space Model for Point Cloud Analysis

Transformers have become one of the foundational architectures in point cloud analysis tasks due to their excellent global modeling ability. However, the attention mechanism has quadratic complexity, making the design of a linear complexity method with global modeling appealing. In this paper, we propose PointMamba, transferring the success of Mamba, a recent representative state space model (SSM), from NLP to point cloud analysis tasks. Unlike traditional Transformers, PointMamba employs a linear complexity algorithm, presenting global modeling capacity while significantly reducing computational costs. Specifically, our method leverages space-filling curves for effective point tokenization and adopts an extremely simple, non-hierarchical Mamba encoder as the backbone. Comprehensive evaluations demonstrate that PointMamba achieves superior performance across multiple datasets while significantly reducing GPU memory usage and FLOPs. This work underscores the potential of SSMs in 3D vision-related tasks and presents a simple yet effective Mamba-based baseline for future research. The code will be made available at \url{https://github.com/LMD0311/PointMamba}.

한 줄 요약

PointMamba는 3D 포인트 클라우드 분석에 Mamba 기반의 선형 복잡도 상태공간 모델을 도입한 간단하고 효율적인 접근법이다.

핵심 기여도

PointMamba는 Mamba를 3D 포인트 클라우드 분석에 처음으로 적용한 상태공간 모델(SSM)이다.
Hilbert 및 Trans-Hilbert 공간 채우기 곡선을 활용한 포인트 토큰화와 단순한 Mamba 인코더를 결합하여 전역 모델링을 실현.
ScanObjectNN 데이터셋에서 PointMAE 대비 30.2× 빠른 추론 속도, 24.9× 낮은 GPU 메모리 사용량, 5.2× 적은 FLOPs를 기록.
자체 학습 전략(MAE 유사)을 통해 다양한 스캐닝 전략에서 일반적인 로컬 관계를 학습.

핵심 아이디어

기존 Transformer는 전역 모델링 능력이 뛰어나지만, 어텐션 메커니즘의 이차 복잡도로 인해 계산 비용이 높다. PointMamba는 이 문제를 해결하기 위해 Mamba라는 선형 복잡도의 상태공간 모델(SSM)을 포인트 클라우드 분석에 도입한다. Mamba는 S6 기반의 선택적 SSM을 사용하여 시간에 따라 변화하는 파라미터를 적용함으로써, 효율적인 학습과 추론이 가능하다. PointMamba는 포인트 클라우드의 비구조적 특성을 고려해 Hilbert 및 Trans-Hilbert 공간 채우기 곡선을 사용하여 포인트를 순차적으로 토큰화하고, 이 토큰을 Mamba 인코더에 입력하여 전역 정보를 추출한다. 이는 단방향 모델링의 한계를 극복하고, 다양한 방향에서의 의존성을 포착하는 데 기여한다.

기술적 접근법

**포인트 토큰화**: Hilbert 및 Trans-Hilbert 공간 채우기 곡선을 사용하여 포인트 클라우드를 순차적 토큰으로 변환.
**Mamba 인코더**: 단순하고 계층 구조 없는 Mamba를 사용하여 토큰 시퀀스를 처리.
**Order Indicator**: 두 스캐닝 전략의 고유한 특성을 유지하기 위해 가벼운 인코딩(1.5k 파라미터)을 추가.
**자체 학습 전략**: MAE 유사 방식으로 랜덤한 시퀀스에서 마스킹을 수행하여 일반적인 로컬 관계를 학습.
**하드웨어 최적화**: S6 기반의 선택적 SSM을 사용하여 Mamba의 선형 복잡도와 높은 효율성을 유지.

주요 결과

**ScanObjectNN 데이터셋**: OBJ-BG에서 94.32%, OBJ-ONLY에서 92.60%의 정확도 달성.
**PointMAE 대비 성능**: 32,768 길이의 시퀀스에서 PointMAE 대비 30.2× 빠른 추론 속도, 24.9× 낮은 GPU 메모리 사용량, 5.2× 적은 FLOPs.
**Order Indicator 효과**: OBJ-BG에서 1.20%, OBJ-ONLY에서 1.73%의 성능 향상.
**선택적 SSM 효과**: Identity 설정 대비 성능 향상, 마스킹 어텐션 대비 1.5% 이상 우수.

의의 및 한계

PointMamba는 3D 포인트 클라우드 분석에서 SSM의 가능성을 입증하며, Transformer 대안으로서의 잠재력을 보여준다. 특히, Mamba의 선형 복잡도와 단순한 구조는 실시간 처리 및 저자원 환경에서의 활용 가능성을 높인다. 또한, 자체 학습 전략을 통해 다양한 스캐닝 전략에서 일반적인 로컬 관계를 학습할 수 있어, 전이 학습 및 다중 작업 학습에 유리하다. 그러나 Mamba는 기본적으로 단방향 모델링을 수행하므로, 포인트 클라우드의 비구조적 특성에 따라 다방향 의존성을 포착하는 데 한계가 있을 수 있다. 또한, 공간 채우기 곡선의 선택이 성능에 큰 영향을 미치므로, 다른 스캐닝 전략의 탐색이 필요하다.

실용적 활용

PointMamba는 로봇, 자율주행, 증강현실 등 3D 시각 정보를 활용하는 산업에서 실시간 포인트 클라우드 분석에 적합하다. 특히, GPU 메모리 및 계산 비용이 제한된 장치에서의 활용이 유망하며, 자체 학습 기반의 전이 학습을 통해 다양한 3D 데이터셋에 적용 가능하다.