Sonata: Self-Supervised Learning of Reliable Point Representations

In this paper, we question whether we have a reliable self-supervised point cloud model that can be used for diverse 3D tasks via simple linear probing, even with limited data and minimal computation. We find that existing 3D self-supervised learning approaches fall short when evaluated on representation quality through linear probing. We hypothesize that this is due to what we term the "geometric shortcut", which causes representations to collapse to low-level spatial features. This challenge is unique to 3D and arises from the sparse nature of point cloud data. We address it through two key strategies: obscuring spatial information and enhancing the reliance on input features, ultimately composing a Sonata of 140k point clouds through self-distillation. Sonata is simple and intuitive, yet its learned representations are strong and reliable: zero-shot visualizations demonstrate semantic grouping, alongside strong spatial reasoning through nearest-neighbor relationships. Sonata demonstrates exceptional parameter and data efficiency, tripling linear probing accuracy (from 21.8% to 72.5%) on ScanNet and nearly doubling performance with only 1% of the data compared to previous approaches. Full fine-tuning further advances SOTA across both 3D indoor and outdoor perception tasks.

한 줄 요약

Sonata는 140k 포인트 클라우드를 기반으로 지오메트릭 숏컷 문제를 해결한 3D 자기감독 학습 모델로, ScanNet에서 선형 탐색 정확도를 21.8%에서 72.5%까지 3.3배 향상시킨다.

핵심 기여도

지오메트릭 숏컷 문제를 제시하고, 포인트 클라우드의 저수준 공간 특징에 의존하는 기존 모델의 한계를 분석.
공간 정보를 가리고 입력 특징을 강조하는 두 가지 전략을 제안: SSL 손실을 더 넓은 공간 스케일에 적용, 마스킹 포인트의 공간 정보를 방해.
140k 포인트 클라우드를 사용한 자기-디스틸레이션 프레임워크를 통해 Sonata 모델을 구성.
ScanNet에서 선형 탐색 정확도 21.8% → 72.5% (3.3배 향상), 1% 데이터만으로도 기존 방법 대비 2배 성능 향상.

핵심 아이디어

기존 3D 자기감독 학습 모델은 포인트 클라우드의 희소성과 공간 정보에 과도하게 의존하여 "지오메트릭 숏컷"이라는 문제를 일으킨다. 이는 정규 방향(normal direction)이나 포인트 높이(point height)와 같은 저수준 공간 특징에 모델이 수렴하게 만든다. 이는 포인트 좌표가 연산 과정에서 자연스럽게 포함되기 때문에 마스킹이나 가리기가 어려운 문제다.

Sonata는 이 문제를 해결하기 위해 두 가지 전략을 채택한다. 첫째, SSL 손실을 더 넓은 공간 스케일에 적용하여 마스킹 포인트의 공간 정보를 방해한다. 둘째, 점진적으로 태스크 난이도를 높여 접근 가능한 공간 힌트에 대한 의존도를 줄인다. 이는 모델이 더 의미 있는 특징을 학습하도록 유도한다.

기술적 접근법

**자기-디스틸레이션(self-distillation) 프레임워크**를 사용하여 140k 포인트 클라우드를 기반으로 학습.
**SSL 손실 적용 스케일 확장**: 더 넓은 공간 스케일에서 손실을 계산하여 공간 정보를 방해.
**마스킹 포인트의 공간 정보 방해**: 특징 없는 포인트의 좌표 정보를 방해하여 모델이 입력 특징에 더 의존하도록 유도.
**점진적 태스크 난이도 증가**: 단계적으로 더 복잡한 태스크를 제시하여 공간 힌트에 대한 과도한 의존을 방지.
**DINOv2와의 결합**: 이미지 기반 DINOv2 특징과 Sonata 특징을 결합하여 76.4%의 정확도 달성.

주요 결과

**ScanNet 데이터셋**에서 선형 탐색 정확도가 21.8%에서 72.5%로 3.3배 향상.
**1% 데이터만으로도** 기존 방법 대비 2배 성능 향상 (25.8% → 45.3%).
**DINOv2 기반 특징 대비 63.1% → 72.5%** 향상, DINOv2와 결합 시 76.4% 달성.
**PCA 색상 시각화, k-means 클러스터링, nearest-neighbor 매칭**을 통해 의미 있는 3D 포인트 그룹핑 가능.

의의 및 한계

Sonata는 3D 포인트 클라우드에서 의미 있는 자기감독 표현을 학습할 수 있는 기초를 제공하며, ScanNet과 같은 실내/실외 감지 태스크에서 SOTA 성능을 달성한다. 특히, 데이터와 계산 자원이 제한된 환경에서도 뛰어난 성능을 보여주며, 3D 표현 학습의 신뢰성을 높이는 데 기여한다.

하지만, 현재는 1M 개체 수준의 데이터셋을 활용하지 못해 의미의 풍부함이 제한된다. 또한, 실내/실외 환경을 통합 학습하는 데 있어 포인트 밀도와 입력 특징의 차이가 장애물로 작용한다. 이는 향후 연구 주제로 제시된다.

실용적 활용

Sonata는 자율주행, 로봇 학습, 메타버스, 1인칭 시점 감지 등 3D 포인트 클라우드를 활용하는 다양한 분야에 적용 가능하다. 특히, 라벨이 부족한 데이터 환경에서 자기감독 학습을 통해 높은 성능을 유지할 수 있어, 데이터 수집 비용을 줄이는 데 유용하다.