grpo mllm spatial-reasoning supervised-finetuning spatial-intelligence dual-encoder visual-geometry frame-sampling
Abstract
Recent advancements in Multimodal Large Language Models (MLLMs) have significantly enhanced performance on 2D visual tasks. However, improving their spatial intelligence remains a challenge. Existing 3D MLLMs always rely on additional 3D or 2.5D data to incorporate spatial awareness, restricting their utility in scenarios with only 2D inputs, such as images or videos. In this paper, we present Spatial-MLLM, a novel framework for visual-based spatial reasoning from purely 2D observations. Unlike conventional video MLLMs which rely on CLIP-based visual encoders optimized for semantic understanding, our key insight is to unleash the strong structure prior from the feed-forward visual geometry foundation model. Specifically, we propose a dual-encoder architecture: a pretrained 2D visual encoder to extract semantic features, and a 3D spatial encoder-initialized from the backbone of the visual geometry model-to extract 3D structure features. A connector then integrates both features into unified visual tokens for enhanced spatial understanding. Furthermore, we propose a space-aware frame sampling strategy at inference time, which selects the spatially informative frames of a video sequence, ensuring that even under limited token length, the model focuses on frames critical for spatial reasoning. Beyond architecture improvements, we construct a training dataset from multiple sources and train the model on it using supervised fine-tuning and GRPO. Extensive experiments on various real-world datasets demonstrate that Spatial-MLLM achieves state-of-the-art performance in a wide range of visual-based spatial understanding and reasoning tasks. Project page: https://diankun-wu.github.io/Spatial-MLLM/.
한국어 요약
한 줄 요약
Spatial-MLLM은 2D 영상 입력만으로 시각 기반 공간 지능을 향상시키는 이중 인코더-연결기 구조의 새로운 MLLM 프레임워크이다.
핵심 기여도
- 이중 인코더 구조(2D 시맨틱 인코더 + 공간 인코더)와 연결기(connector)를 통해 2D 입력에서 3D 구조 정보를 추출하고 통합.
- 공간 인식 프레임 샘플링(space-aware frame sampling) 전략을 제안하여 제한된 토큰 길이 내에서도 핵심 공간 정보를 유지.
- Spatial-MLLM-120K 데이터셋을 구축하고, SFT와 GRPO를 활용한 2단계 학습 파이프라인을 도입.
- VSIBench, ScanQA, SQA3D에서 기존 모델 대비 최고 성능 달성.
핵심 아이디어
기존 MLLM은 CLIP 기반 인코더로 시맨틱 정보를 잘 추출하지만, 3D 구조 정보는 부족하다. 이에 반해 Spatial-MLLM은 **feed-forward visual geometry foundation model**을 기반으로 초기화된 공간 인코더를 도입하여, 2D 영상에서 3D 구조 정보를 추출한다. 이는 **VGGT feature extractor**를 활용한 공간 인코더와 **2D 시맨틱 인코더**의 결합을 통해 이루어진다. 두 인코더의 출력은 **connector**를 통해 통합되어, LLM이 공간 추론을 수행할 수 있도록 지원한다. 이는 기존 MLLM이 3D 데이터 없이도 공간 지능을 향상시킬 수 있다는 새로운 통찰을 제시한다.
기술적 접근법
- **이중 인코더**: 2D 시맨틱 인코더는 일반적인 비디오 MLLM의 인코더로 초기화, 공간 인코더는 VGGT 기반의 구조 정보 추출 모델로 초기화.
- **연결기(connector)**: 두 인코더의 특성을 통합하여 일관된 시각 토큰 생성.
- **공간 인식 프레임 샘플링**: 제한된 입력 길이 내에서 가장 공간 정보가 풍부한 프레임을 선택. **voxel grid** 생성 후, **maximum coverage problem**을 **greedy algorithm**으로 해결.
- **데이터셋**: **Spatial-MLLM-120K** 데이터셋을 사용.
- **학습 파이프라인**: **supervised fine-tuning (SFT)** + **Group Relative Policy Optimization (GRPO)**. GRPO는 1,000 스텝 수행.
주요 결과
- **VSIBench**에서 Spatial-MLLM-16은 Spatial-MLLM-SFT-16 대비 성능 향상.
- **Qwen2.5-VL-3B-SFT-16**과 **Qwen2.5-VL-7B-SFT-16**은 Spatial-MLLM-SFT-16보다 성능 하락, 이는 Spatial-MLLM의 아키텍처 효과를 입증.
- **공간 인식 프레임 샘플링**은 동일 입력 길이에서 **uniform sampling** 대비 일관된 성능 향상.
- **16개 프레임** 기준, 샘플링 전략에 따라 성능 차이 발생.
의의 및 한계
Spatial-MLLM은 3D 데이터 없이도 2D 영상만으로 공간 지능을 향상시킬 수 있다는 점에서 학술적·실용적 가치가 크다. 특히, **VGGT 기반 공간 인코더**와 **이중 인코더-연결기 구조**는 기존 MLLM의 한계를 극복하는 새로운 방향을 제시한다. 그러나 모델 크기와 학습 데이터 확장을 통한 성능 향상 여지가 있으며, 현재는 **시각 기반 공간 지능**에만 집중되어 있어 일반적인 영상 이해 작업에의 확장 가능성은 아직 검증되지 않았다.
실용적 활용
Spatial-MLLM은 드론, 로봇, AR/VR 등 3D 정보가 제한된 환경에서 시각 기반 공간 추론이 필요한 산업에 적용 가능하다. 또한, 영상 기반 공간 질문 응답 시스템이나 자율 주행 차량의 환경 인식에도 활용될 수 있다.