MentalThink: Shaping Thoughts in Mental SVG World

We introduce MentalThink, a visual-symbolic reasoning paradigm that equips Multimodal LLMs (MLLMs) with an executable mechanism for "mental" visualization. The core of MentalThink is a think-with-SVG pipeline, where the model learns to generate, render, and interpret scalable vector graphics (SVG) code as an intermediate visual representation for multi-turn reasoning. By creating structured vector sketches, the model can externalize spatial hypotheses, inspect them through deterministic rendering, and reason within a constrained geometric space, effectively mimicking the human process of mental imagery. We instantiate this paradigm through a two-stage training framework, combining Supervised Fine-Tuning (SFT) for SVG syntactic alignment with multi-turn Reinforcement Learning (RL) to encourage iterative inspection, revision, and refinement of intermediate visual hypotheses. Extensive evaluations demonstrate that MentalThink achieves superior performance on spatial understanding and reasoning benchmarks (e.g., 55.1% on VSIBench, 76.0% on MindCube), showing that executable vector graphics provide a verifiable visual workspace for dynamic perspective taking, visual reflection, and compositional scene construction.

한 줄 요약

MentalThink는 SVG 기반 시각적 추론 파이프라인을 통해 MLLM의 공간 이해와 추론 능력을 향상시키는 새로운 패러다임이다.

핵심 기여도

**think-with-SVG 파이프라인**을 도입하여 MLLM이 SVG 코드를 생성·렌더링·해석하는 시각적 추론 과정을 구현.
**두 단계 학습 프레임워크** (SFT + Multi-turn RL)를 통해 시각 가설의 반복적 검증과 수정을 유도.
**VSIBench 55.1%, MindCube 76.0%** 성능 달성, 기존 언어 기반 추론 대비 정확도 향상.
**SVG 데이터**를 사용한 학습이 공간 인지 능력을 13.4% 향상시킴 (31.0% → 44.4%).

핵심 아이디어

MentalThink는 인간의 정신적 이미지 형성 과정을 모방하여, MLLM이 추상적 추론을 구조화된 SVG 코드로 표현하고 이를 반복적으로 검증하는 방식을 제안한다. 이는 단순한 언어 기반 추론의 한계를 극복하고, 시각적 구조를 기반으로 한 정확한 공간 추론을 가능하게 한다. SVG는 **구조화된 시각 언어**로서, 객체의 기하학적 정보와 공간 계층을 포함하며, 이는 순수 텍스트 생성보다 더 깊은 구조적 이해를 요구한다. 또한, SVG는 코드 기반으로 LLM이 이미 학습한 **계층적·조합적 사전 지식**을 활용할 수 있게 한다.

기술적 접근법

**think-with-SVG 파이프라인**: 모델이 추론 과정에서 SVG 코드를 생성하고 이를 렌더링하여 시각적 가설을 검증.
**SFT (Supervised Fine-Tuning)**: SVG-Reasoning 데이터셋을 기반으로 모델이 추상적 추론을 구조화된 SVG로 표현하도록 학습.
**Multi-turn RL (Reinforcement Learning)**: 반복적인 시각 가설 검증과 수정을 통해 추론 정확도를 향상.
**General Spatial Perception Data**: 다양한 공간 속성 (Room Size, Object Size 등)을 학습하여 전반적인 공간 인지 능력을 강화.
**SVG 데이터셋 사용**: Appearance Order, Relative Direction 등 공간 지표 향상에 기여.

주요 결과

**VSIBench**: 55.1% (기존 대비 +13.4%)
**MindCube**: 76.0%
**Appearance Order**: 28.2 → 56.0 (SVG 데이터 도입 후)
**Object Size**: 37.2 → 55.9
**Room Size**: 31.9 → 58.4 (General Spatial Perception Data 추가 후)
**Relative Direction**: 47.1 → 51.4 (RL 학습 후)
**Average Score**: 31.0 → 55.1% (SFT + RL 통합 후)

의의 및 한계

MentalThink는 MLLM이 **구조화된 시각 추론**을 수행할 수 있는 새로운 패러다임을 제시하며, 특히 **동적 시각 전환**, **조합적 장면 구성**, **시각적 반성** 등의 능력을 강화한다. SVG 기반 추론은 모델이 추상적 개념을 구체적 시각 구조로 매핑하도록 유도하여, 기존 언어 기반 추론의 비정확성 문제를 완화한다. 그러나, **SVG 생성의 복잡성**과 **렌더링 오류 가능성**은 여전히 한계로 작용할 수 있다. 또한, 특정 도메인에 의존적인 데이터가 일반화 능력을 제한할 수 있다.

실용적 활용

MentalThink는 **로봇 비전**, **AR/VR**, **공간 인지 AI** 등에서 활용 가능하다. 특히, **실내 네비게이션**, **3D 장면 생성**, **공간 로직 추론** 등에서 구조화된 시각 추론을 필요로 하는 분야에서 유용할 수 있다. 또한, **교육 AI**나 **디자인 도구**에 적용하여 사용자의 시각적 창의성을 지원할 수 있다.