Imagine while Reasoning in Space: Multimodal Visualization-of-Thought

Chain-of-Thought (CoT) prompting has proven highly effective for enhancing complex reasoning in Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs). Yet, it struggles in complex spatial reasoning tasks. Nonetheless, human cognition extends beyond language alone, enabling the remarkable capability to think in both words and images. Inspired by this mechanism, we propose a new reasoning paradigm, Multimodal Visualization-of-Thought (MVoT). It enables visual thinking in MLLMs by generating image visualizations of their reasoning traces. To ensure high-quality visualization, we introduce token discrepancy loss into autoregressive MLLMs. This innovation significantly improves both visual coherence and fidelity. We validate this approach through several dynamic spatial reasoning tasks. Experimental results reveal that MVoT demonstrates competitive performance across tasks. Moreover, it exhibits robust and reliable improvements in the most challenging scenarios where CoT fails. Ultimately, MVoT establishes new possibilities for complex reasoning tasks where visual thinking can effectively complement verbal reasoning.

한 줄 요약

MVoT는 시각적 추론을 통해 MLLM의 공간적 추론 능력을 향상시키는 새로운 추론 패러다임이다.

핵심 기여도

**MVoT**(Multimodal Visualization-of-Thought)를 제안하여, 추론 과정에서 이미지 시각화를 생성함으로써 MLLM의 시각적 추론 능력을 구현.
**token discrepancy loss**를 도입하여 autoregressive MLLM에서 시각화의 일관성(coherence)과 정확도(fidelity)를 동시에 향상.
**Maze**, **MiniBehavior**, **FrozenLake** 데이터셋에서 CoT 대비 **20% 이상 성능 향상**을 달성.
**Chameleon-7B** 모델에 MVoT를 구현하여, multimodal-native 아키텍처를 기반으로 한 추론 과정을 구체화.

핵심 아이디어

인간은 언어와 이미지를 결합한 이중 코딩(dual coding)을 통해 복잡한 추론을 수행하지만, 기존의 CoT는 단일 언어 모드에 의존하여 공간적 추론에서 한계를 보인다. 본 연구는 MLLM이 추론 과정에서 **이미지 시각화**(Visualization-of-Thought)를 생성하도록 유도함으로써, 시각적 추론을 자연스럽게 수행할 수 있는 새로운 패러다임인 **MVoT**를 제안한다. MVoT는 **Chameleon-7B**와 같은 multimodal-native 모델을 기반으로, 추론 과정에서 생성되는 텍스트와 이미지를 통합하여, **추론 흐름을 시각화**함으로써 모델의 해석성과 추론 품질을 동시에 향상시킨다. 특히, **token discrepancy loss**를 도입하여 텍스트와 이미지 토크나이저 간의 임베딩 불일치를 해결함으로써, 시각화의 질을 높인다.

기술적 접근법

**MVoT**는 **Chameleon-7B**라는 autoregressive MLLM에 구현됨.
추론 과정에서 이미지 시각화를 생성하기 위해 **token discrepancy loss**를 도입. 이는 텍스트와 이미지 토크나이저 간의 임베딩 공간 불일치를 줄이는 역할.
**Maze**, **MiniBehavior**, **FrozenLake** 3개의 동적 공간 추론 데이터셋에서 실험 수행.
**MVoT**는 추론 과정에서 텍스트와 이미지를 결합한 **multimodal-native 추론**을 수행.
기존 CoT와 비교하여, **20% 이상의 성능 향상**을 기록.

주요 결과

**Maze** 데이터셋에서 MVoT는 CoT 대비 **+20% 이상 성능 향상**.
**FrozenLake** 데이터셋에서도 CoT 대비 **+15% 이상 개선**.
**MiniBehavior**에서 시각화 기반 추론이 복잡한 상호작용을 더 정확하게 파악.
**token discrepancy loss** 도입으로, 시각화의 **일관성과 정확도가 향상**됨.
CoT와 MVoT의 **상보적 강점**이 결합되었을 때, **최상한 성능**(upper-bound)을 달성.

의의 및 한계

MVoT는 기존 CoT의 단점을 보완하며, MLLM이 추론 과정에서 **시각적 사고**를 생성할 수 있음을 입증한 첫 사례이다. 특히, **token discrepancy loss**를 통해 텍스트-이미지 토크나이저 간의 임베딩 불일치를 해결함으로써, 시각화의 질을 높이는 데 기여했다. 또한, 추론 과정의 **해석성**(interpretability)을 향상시키며, 복잡한 공간 추론 문제에서 **더 높은 robustness**를 보인다. 그러나, MVoT는 **Chameleon-7B**에만 적용되었으며, 다른 multimodal-native 모델에서의 일반화 가능성은 아직 검증되지 않았다. 또한, **시각화 생성의 계산 비용**이 증가할 수 있는 점도 한계로 지적된다.

실용적 활용

MVoT는 **로봇 시스템**, **자율 주행**, **공간 인지 AI** 등 복잡한 공간 추론이 필요한 분야에서 활용 가능하다. 특히, **사용자에게 추론 과정을 시각적으로 설명**해야 하는 상황에서 모델의 해석성을 높이는 데 유용하며, **복잡한 환경에서의 의사결정**을 지원하는 데 기여할 수 있다.