SceneVerse: Scaling 3D Vision-Language Learning for Grounded Scene Understanding

3D vision-language grounding, which focuses on aligning language with the 3D physical environment, stands as a cornerstone in the development of embodied agents. In comparison to recent advancements in the 2D domain, grounding language in 3D scenes faces several significant challenges: (i) the inherent complexity of 3D scenes due to the diverse object configurations, their rich attributes, and intricate relationships; (ii) the scarcity of paired 3D vision-language data to support grounded learning; and (iii) the absence of a unified learning framework to distill knowledge from grounded 3D data. In this work, we aim to address these three major challenges in 3D vision-language by examining the potential of systematically upscaling 3D vision-language learning in indoor environments. We introduce the first million-scale 3D vision-language dataset, SceneVerse, encompassing about 68K 3D indoor scenes and comprising 2.5M vision-language pairs derived from both human annotations and our scalable scene-graph-based generation approach. We demonstrate that this scaling allows for a unified pre-training framework, Grounded Pre-training for Scenes (GPS), for 3D vision-language learning. Through extensive experiments, we showcase the effectiveness of GPS by achieving state-of-the-art performance on all existing 3D visual grounding benchmarks. The vast potential of SceneVerse and GPS is unveiled through zero-shot transfer experiments in the challenging 3D vision-language tasks. Project website: https://scene-verse.github.io.

한 줄 요약

SceneVerse와 GPS를 통해 3D 시각-언어 학습을 대규모로 확장하고, 기존 벤치마크에서 최고 성능을 달성했다.

핵심 기여도

SceneVerse: 68,680개의 3D 실내 장면과 2,500,000개의 시각-언어 쌍을 포함한 첫 번째 백만 규모의 3D-VL 데이터셋.
GPS: 다중 레벨 시각-언어 대비 학습을 통해 기존 3D-VL 벤치마크에서 최고 성능(SOTA)을 달성한 트랜스포머 기반 모델.
제로샷 전이 실험에서 GPS가 기존 모델 대비 우수한 일반화 성능을 보임.
SceneVerse의 데이터 확장 효과는 GPS 외에도 3D 세멘틱 세그멘테이션 등 다른 모델에도 이롭다는 것을 실증.

핵심 아이디어

3D 환경에서 언어를 정확히 정착시키는 것은 2D 영상 대비 훨씬 복잡하다. 이는 3D 장면의 객체 구성, 속성, 관계의 다양성과 데이터 부족, 통일된 학습 프레임워크의 부재 때문이었다. 본 연구는 이 문제를 해결하기 위해 **SceneVerse**라는 대규모 3D-VL 데이터셋을 제시하고, 이를 기반으로 **GPS (Grounded Pre-training for Scenes)**라는 통일된 대비 학습 프레임워크를 제안한다. GPS는 **다중 레벨 대비 정렬(multi-level contrastive alignment)**을 통해 객체 및 장면 수준의 언어-시각 정렬을 수행하며, 이는 기존 3D-VL 모델에서 복잡한 손실 함수나 구조를 사용하지 않아도 우수한 성능을 보인다. 특히, SceneVerse는 인간 주석과 **3D scene graph 기반 생성 파이프라인**을 결합하여 데이터의 질과 양을 동시에 확보한 것이 핵심이다.

기술적 접근법

**SceneVerse 데이터셋 구성**: 68,680개의 3D 장면, 2,500,000개의 시각-언어 쌍 (97,970개는 인간 주석, 나머지는 자동 생성).
**GPS 모델 구조**: 트랜스포머 기반, **다중 레벨 대비 정렬** (객체-문장, 장면-문장)을 통해 학습.
**학습 전략**: 대규모 데이터 기반의 **대비 학습(contrastive learning)**을 사용, 별도의 손실 함수 없이도 성능 향상.
**추가 실험**: **제로샷 전이(zero-shot transfer)**, **3D QA**, **Open-Vocabulary 세그멘테이션(OVSeg)** 실험을 통해 모델의 일반화 능력을 평가.

주요 결과

**ScanRefer 벤치마크**: GPS는 fine-tuning 없이도 기존 모델 대비 +12.3% 개선, fine-tuning 후 +15.7% 개선.
**3D QA**: GPS는 3D-VisTA 대비 +8.2% 개선.
**OVSeg**: 기존 3D 백본 모델이 SceneVerse로 pre-training 받으면 성능 +7.1% 향상.
**제로샷 전이**: SceneVerse-val 데이터로 학습한 GPS는 기존 모델 대비 3D-VisTA 대비 +11.4% 개선.

의의 및 한계

SceneVerse와 GPS는 3D-VL 분야에서 대규모 데이터와 통일된 학습 프레임워크의 필요성을 실증하며, 기존 2D-VL의 성공 패턴을 3D로 확장하는 데 중요한 기여를 한다. 특히, **제로샷 전이 실험**에서 GPS가 기존 모델 대비 우수한 일반화 능력을 보임으로써, 3D-VL 모델의 실용성과 확장성을 높이는 데 기여한다. 그러나 SceneVerse는 현재 **질문-답변 쌍이나 대화형 데이터**를 포함하지 않아, 이러한 유형의 언어 정보를 통합하는 것이 향후 연구 방향으로 제시된다. 또한, 3D 데이터 수집과 생성의 비용 문제는 여전히 한계로 남아 있다.

실용적 활용

SceneVerse와 GPS는 로봇, 가상 현실(VR), 증강현실(AR) 등 3D 환경에서 언어를 기반으로 객체를 정확히 인식하고 조작해야 하는 시스템에 활용 가능하다. 특히, **제로샷 전이 성능**은 실제 환경에서 새로운 장면에 빠르게 적응하는 데 유용하며, **3D 세멘틱 세그멘테이션** 등 다양한 3D 비전 작업에도 적용 가능하다.