SpatialBlock: Enhancing Spatial Intelligence in LVLMs via Synthetic Block-Stacking Problem

Large Vision-Language Models (LVLMs) have achieved strong performance on diverse visual tasks, yet their ability to reconstruct and reason about the 3D structure of the scene depicted in 2D images -- referred to as spatial intelligence -- remains limited. Existing approaches attempt to address this gap by using real-scene spatial question answering datasets that require dense geometric annotations. However, constructing such labels is costly, time-consuming, and often noisy due to reliance on external perception modules. In this work, we propose a novel paradigm inspired by human cognitive development: learning foundational spatial skills through structured block-manipulation tasks. We introduce SpatialBlock-15k, a synthetic dataset of 15,000 block-stacking problems covering 3D-to-2D projection, viewpoint transformation, and structural combination. The dataset further incorporates controlled color modulation as visual cues to encourage anchor-based reasoning in visually complex conditions. Experiments demonstrate that LVLMs trained on our dataset through either direct answering or reasoning-based prediction significantly outperform baselines and generalize to real-world spatial tasks, despite the dataset's synthetic and compact nature. Code and data are available at https://github.com/rsoohyun/SpatialBlock.

한 줄 요약

SpatialBlock-15k라는 합성 블록 쌓기 데이터셋을 통해 LVLM의 공간 지능을 향상시키는 새로운 학습 패러다임을 제안한다.

핵심 기여도

SpatialBlock-15k: 15,000개의 블록 쌓기 문제를 포함한 합성 데이터셋을 제안.
3D-to-2D projection, viewpoint transformation, structural combination 3가지 공간 추론 태스크를 포함.
색상 조절을 통한 시각적 큐를 도입하여 anchor-based reasoning을 유도.
합성 데이터 기반 훈련으로도 실제 세계 공간 태스크에서 기존 베이스라인 대비 7.9%~4.8% 성능 향상.

핵심 아이디어

기존 연구는 실제 장면의 공간 QA 데이터셋을 사용해 LVLM의 공간 지능을 향상시키려 했으나, 이는 높은 비용과 노이즈로 인해 제한적이었다. 본 연구는 인간의 인지 발달 과정에서 영감을 받아, 구조화된 블록 조작을 통해 공간 능력을 배우는 새로운 학습 패러다임을 제안한다. 특히, 블록 쌓기 문제는 3D 구조를 2D로 투영하고, 시점 전환 및 구조 결합을 요구함으로써 LVLM이 핵심적인 공간 추론 능력을 습득하도록 유도한다. 또한, 색상 조절을 통해 시각적 복잡성 속에서도 특정 객체를 기준으로 추론하도록 유도하는 anchor-based reasoning을 강화한다.

기술적 접근법

**SpatialBlock-15k 데이터셋**: 15,000개의 블록 쌓기 문제로 구성. 3가지 태스크(3D-to-2D projection, viewpoint transformation, structural combination) 포함.
**색상 큐**: 시각적 복잡성 조건에서 anchor-based reasoning을 유도하기 위해 제어된 색상 변조를 도입.
**훈련 전략**: 두 가지 훈련 방식을 제안.
**Direct Answer Prediction**: 입력 이미지를 직접적으로 정답에 매핑.
**Reasoning-based Prediction**: 중간 논리 경로를 설명하며 최종 정답 도출.
**LoRA 기반 초기화**: 추론 모델 훈련 시, 기존 공간 지능 유지하면서 학습 효율성을 높이기 위해 LoRA 초기화 전략을 사용.

주요 결과

**MindCube**: 색상 큐 제거 시 direct 모델 7.9%, reason 모델 7.3% 성능 하락.
**MMSI-Bench**: 색상 큐 제거 시 direct 모델 1.9%, reason 모델 4.8% 성능 하락.
**SpatialLadder-26k 비교**: 동일 훈련 조건에서 SpatialBlock-15k 기반 모델이 대부분의 벤치마크에서 우수한 성능 보임.
**LoRA 초기화**: 추론 모델의 성능을 1.3 에포크 훈련에서도 기존 방식 대비 크게 향상.

의의 및 한계

본 연구는 실제 장면의 높은 비용과 노이즈를 피하면서도 LVLM의 공간 지능을 향상시킬 수 있는 새로운 합성 학습 패러다임을 제시한다. 특히, 구조화된 블록 쌓기 문제와 색상 큐를 통한 anchor-based reasoning은 실제 세계 공간 태스크로의 일반화를 가능하게 한다는 점에서 학술적·실용적 의의가 있다. 그러나 합성 데이터만으로 모든 공간 능력을 학습할 수 있는지, 또는 실제 데이터와 결합할 경우 더 큰 성능 향상이 있는지는 추가 연구가 필요하다.

실용적 활용

자율주행, 로봇, AR/VR 등 공간 지능이 요구되는 산업 분야에서 LVLM의 공간 추론 능력을 향상시키는 데 활용 가능하다. 특히, 높은 비용이 드는 라벨링 작업 없이도 모델을 학습할 수 있어 대규모 공간 태스크 개발에 유용하다.