Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models

Humans draw to facilitate reasoning: we draw auxiliary lines when solving geometry problems; we mark and circle when reasoning on maps; we use sketches to amplify our ideas and relieve our limited-capacity working memory. However, such actions are missing in current multimodal language models (LMs). Current chain-of-thought and tool-use paradigms only use text as intermediate reasoning steps. In this work, we introduce Sketchpad, a framework that gives multimodal LMs a visual sketchpad and tools to draw on the sketchpad. The LM conducts planning and reasoning according to the visual artifacts it has drawn. Different from prior work, which uses text-to-image models to enable LMs to draw, Sketchpad enables LMs to draw with lines, boxes, marks, etc., which is closer to human sketching and better facilitates reasoning. Sketchpad can also use specialist vision models during the sketching process (e.g., draw bounding boxes with object detection models, draw masks with segmentation models), to further enhance visual perception and reasoning. We experiment with a wide range of math tasks (including geometry, functions, graphs, and chess) and complex visual reasoning tasks. Sketchpad substantially improves performance on all tasks over strong base models with no sketching, yielding an average gain of 12.7% on math tasks, and 8.6% on vision tasks. GPT-4o with Sketchpad sets a new state of the art on all tasks, including V*Bench (80.3%), BLINK spatial reasoning (83.9%), and visual correspondence (80.8%). All codes and data are in https://visualsketchpad.github.io/.

한 줄 요약

Visual Sketchpad는 시각적 사고 체인을 통해 멀티모달 언어 모델의 추론 능력을 향상시키는 프레임워크이다.

핵심 기여도

Sketchpad는 멀티모달 언어 모델이 선, 상자, 마크 등을 사용해 직접 스케치를 생성하도록 지원함.
GPT-4o 기반 모델에서 V\*Bench(80.3%), BLINK(83.9%), 시각적 대응(80.8%) 등 주요 벤치마크에서 최신 기록을 달성함.
수학 문제에서 평균 12.7%, 시각 추론 문제에서 8.6%의 성능 향상 기록함.
객체 탐지, 세그멘테이션 등 전문 시각 모듈을 활용해 추론 정확도를 높임.

핵심 아이디어

Sketchpad는 인간이 문제 해결 시 스케치를 사용하는 방식을 모델에 적용한 프레임워크이다. 기존 멀티모달 언어 모델은 텍스트 기반 사고 체인만 사용했으나, Sketchpad는 모델이 직접 스케치를 생성하고 이를 바탕으로 추론을 수행하도록 한다. 예를 들어, 기하학 문제에서는 보조선을 추가하고, 함수 문제에서는 그래프를 그려 추론을 돕는다. 이는 텍스트-이미지 생성 모델을 사용하는 기존 접근과 달리, 더 직관적이고 인간에 가까운 방식이다. 또한, 객체 탐지, 세그멘테이션, 깊이 추정 등 전문 시각 모듈을 통합하여 추론 정확도를 높인다. 모델이 생성한 시각적 아티팩트를 기반으로 계획을 조정할 수 있는 유연성도 핵심이다.

기술적 접근법

Sketchpad는 멀티모달 언어 모델이 선, 상자, 마크 등을 사용해 직접 스케치를 생성하도록 허용함.
객체 탐지, 세그멘테이션, 깊이 추정 등 전문 시각 모듈을 통합하여 추론을 보조함.
GPT-4o, GPT-4 Turbo 등 API 기반 모델에 적용됨.
Matplotlib 코드 생성, 이미지 자르기, 오버레이 등 다양한 시각적 작업을 수행함.
추론 과정에서 생성된 시각적 아티팩트를 바탕으로 모델이 계획을 조정할 수 있음.

주요 결과

GPT-4o 기반 Sketchpad는 V\*Bench(80.3%), BLINK(83.9%), 시각적 대응(80.8%) 등 주요 벤치마크에서 최신 기록 달성함.
수학 문제에서 평균 12.7% (기본 모델 대비 +12.7%), 시각 추론 문제에서 8.6% (기본 모델 대비 +8.6%)의 성능 향상 기록함.
GPT-4o는 BLINK 깊이 추정에서 12.1%, 의미 대응에서 9.7%의 개선을 보임.
최대 흐름 문제에서 GPT-4o는 41.3%의 정확도 향상 (66.3% 달성)함.

의의 및 한계

Sketchpad는 멀티모달 언어 모델의 추론 능력을 시각적 수단으로 향상시키는 새로운 접근법을 제시한다. 인간의 추론 패턴과 유사한 시각적 계획을 생성함으로써 모델의 해석 가능성과 정확도를 높인다. 특히, 기하학, 함수, 그래프 알고리즘, 체스 전략 등 다양한 수학 문제와 시각 추론 문제에서 일관된 성능 향상을 보인다. 그러나 일부 시각 전문 모듈의 오류가 추론에 영향을 줄 수 있으며, 모든 작업이 단일 이미지 기반으로 이루어져 다중 이미지 처리 능력은 한계가 있다. 또한, 오픈소스 모델에 대한 실험은 제한적으로 이루어졌으며, 더 많은 연구가 필요하다.

실용적 활용

Sketchpad는 교육, 엔지니어링, 건축, 과학 연구 등 시각적 추론이 필요한 분야에서 활용 가능하다. 예를 들어, 학생이 기하학 문제를 풀 때 보조선을 그려 이해도를 높이거나, 엔지니어가 설계도를 분석할 때 객체 탐지 및 세그멘테이션을 활용할 수 있다. 또한, 멀티모달 AI 기반의 자동화된 설계 도구나 시각적 분석 시스템에도 적용 가능하다.