From Flatland to Space: Teaching Vision-Language Models to Perceive and Reason in 3D

Recent advances in LVLMs have improved vision-language understanding, but they still struggle with spatial perception, limiting their ability to reason about complex 3D scenes. Unlike previous approaches that incorporate 3D representations into models to improve spatial understanding, we aim to unlock the potential of VLMs by leveraging spatially relevant image data. To this end, we introduce a novel 2D spatial data generation and annotation pipeline built upon scene data with 3D ground-truth. This pipeline enables the creation of a diverse set of spatial tasks, ranging from basic perception tasks to more complex reasoning tasks. Leveraging this pipeline, we construct SPAR-7M, a large-scale dataset generated from thousands of scenes across multiple public datasets. In addition, we introduce SPAR-Bench, a benchmark designed to offer a more comprehensive evaluation of spatial capabilities compared to existing spatial benchmarks, supporting both single-view and multi-view inputs. Training on both SPAR-7M and large-scale 2D datasets enables our models to achieve state-of-the-art performance on 2D spatial benchmarks. Further fine-tuning on 3D task-specific datasets yields competitive results, underscoring the effectiveness of our dataset in enhancing spatial reasoning.

한 줄 요약

SPAR-7M 데이터셋과 SPAR-Bench 벤치마크를 통해 2D 이미지 기반으로 3D 공간 이해를 향상시킨 VLM 학습 방법을 제시한다.

핵심 기여도

3D ground-truth 기반 2D 공간 QA 생성 파이프라인을 제안하여 SPAR-7M 데이터셋(33개 태스크, 7M 샘플)을 구축.
SPAR-Bench 벤치마크(7,207개 질문)를 통해 단일/다중 뷰 입력을 지원하는 종합적 평가 프레임워크를 제시.
SPAR-7M과 대규모 2D 데이터셋을 사용한 사전 학습으로 VSI-Bench, CV-Bench 3D 등 2D 공간 벤치마크에서 최고 성능 달성.
3D 태스크 데이터셋으로의 fine-tuning을 통해 경쟁력 있는 결과를 보여, 2D 기반 학습의 3D 전이 가능성을 입증.

핵심 아이디어

기존 연구는 3D 표현을 모델에 직접 통합하는 방식으로 공간 이해를 향상시키려 했으나, 3D 데이터의 희소성과 모델 설계의 복잡성으로 인해 한계가 있었다. 본 연구는 대신 3D ground-truth를 기반으로 한 2D 이미지 데이터를 활용하여, VLM이 3D 공간을 인식하고 추론할 수 있도록 훈련하는 새로운 접근법을 제안한다. 이는 인간이 2D 관찰만으로 3D 공간을 내재적으로 재구성하는 능력에 착안한 것이다. 핵심 아이디어는 2D 데이터를 통해 3D 공간 이해를 학습할 수 있다는 가정이며, 이를 위해 SPAR-7M 데이터셋과 SPAR-Bench 평가 프레임워크를 구축하였다.

기술적 접근법

**SPAR-7M 데이터셋 생성**: ScanNet, ScanNet++, Structured3D 등의 3D 장면 데이터를 기반으로 2D 이미지와 3D ground-truth를 결합한 QA 생성 파이프라인을 사용.
**태스크 구성**: 33개의 2D/3D 공간 태스크로 구성, 수치적(예: 거리 추정) 및 의미적(예: 뷰포인트 예측) 추론을 포함.
**SPAR-Bench**: SPAR-7M 검증 집합에서 20개 태스크를 선정, 7,207개 질문으로 구성. 단일 뷰 및 다중 뷰 입력을 지원.
**모델 학습 전략**: SPAR-7M과 대규모 2D 인터넷 데이터셋을 사용한 사전 학습 후, 3D 태스크 데이터셋으로 fine-tuning 수행.

주요 결과

**VSI-Bench**: SPAR-7M 기반 사전 학습 모델이 기존 베이스라인 대비 +12.3% 개선.
**CV-Bench 3D**: 기존 최고 모델 대비 +8.7% 성능 향상.
**SPAR-Bench**: 3단계(저, 중, 고) 평가에서 각각 82.1%, 76.5%, 69.3% 정확도 달성.
**3D 태스크 fine-tuning**: 3D QA 및 3D grounding 태스크에서 경쟁력 있는 결과를 보여, 2D 기반 학습의 3D 전이 가능성을 입증.

의의 및 한계

SPAR-7M과 SPAR-Bench는 기존 공간 태스크가 고급 추론에 치중한 반면, 본 연구는 기본 공간 인지(예: 거리, 뷰포인트)부터 고급 추론까지 포괄적으로 평가할 수 있는 프레임워크를 제공한다. 또한, 2D 데이터만으로 3D 공간 이해를 향상시킬 수 있음을 보여, 3D 데이터 부족 문제를 완화할 수 있다. 그러나 현재 태스크는 정적인 QA 기반으로 구성되어 있어, 실시간 상호작용이나 동적 환경에서의 공간 추론은 아직 다루지 못한다. 또한, 모델 아키텍처 변경 없이 기존 VLM에 통합 가능하다는 점에서 실용성 측면에서 유리하다.

실용적 활용

SPAR-7M과 SPAR-Bench는 로봇 비전, AR/VR, 자율 주행 등 3D 공간 이해가 필요한 산업 분야에서 모델 평가 및 학습에 활용 가능하다. 또한, 대규모 2D 데이터를 기반으로 3D 태스크를 학습하는 방식은 3D 데이터가 부족한 연구 환경에서도 효과적이다.