Thinking with Visual Grounding

Visual thinking should not only sound right; it should show its evidence. While recent vision-language models (VLMs) can produce natural-language reasoning traces, these traces often leave the supporting image regions implicit, making them hard to verify and difficult to supervise. We introduce visually grounded thinking, a reasoning process in which models interleave natural-language thoughts with explicit point or box groundings of the visual evidence used at each step. This lets the model express intermediate reasoning in language while grounding key objects in the image regions they refer to. To train this behavior, we construct a scalable synthesis pipeline that distills correct visual reasoning traces, extracts the visual objects required by the traces, grounds them with a SAM3-based agent, and derives aligned point and box supervision from the resulting masks. We further propose grounding-aware reinforcement learning, which combines answer correctness rewards with dense grounding rewards that score whether generated object references match the correct image evidence. Across two counting benchmarks and four spatial reasoning benchmarks, adding visually grounded thinking to Gemma3-4B-IT consistently improves performance over the original model and the non-grounded thinking baseline. On spatial reasoning, the visually grounded thinking 4B models match, and in some cases surpass, Gemma3-27B-IT from the same model family. Our analysis shows that point grounding is well suited to counting, while box grounding benefits most from explicit grounding rewards on spatial tasks. Overall, our results show that VLMs think better when their intermediate thoughts are tied to the image regions that make them true.

한 줄 요약

시각적 추론 과정에서 모델이 자연어와 함께 이미지 영역을 명시적으로 연결하는 'visually grounded thinking'을 제안하고, 이를 통해 카운팅 및 공간 추론 성능을 향상시킨다.

핵심 기여도

SAM3 기반 자동 데이터 생성 파이프라인을 통해 시각적 추론 트레이스와 정확한 이미지 마스크를 생성.
Grounding-aware reinforcement learning을 제안, 정답 정확도와 함께 시각적 참조의 정확도를 보상함.
4B 모델(Gemma3-4B-IT)에 시각적 추론을 적용하여 27B 모델(Gemma3-27B-IT)과 유사하거나 더 높은 성능 달성.
포인트 추론은 카운팅, 박스 추론은 공간 추론에서 각각 최적의 성능을 보임.

핵심 아이디어

기존 시각-언어 모델(VLMs)은 추론 과정에서 이미지 영역을 명시하지 않아 검증이 어려웠다. 이를 해결하기 위해, 모델이 자연어 추론과 함께 이미지 내 특정 포인트 또는 박스를 명시적으로 연결하는 'visually grounded thinking'을 제안한다. 이는 각 추론 단계가 어떤 이미지 영역을 기반으로 하는지를 명확히 하여, 추론의 신뢰성과 학습 가능성을 높인다. 핵심 아이디어는 추론 과정에서 언어적 표현과 시각적 참조가 결합되어야 한다는 점이다. 예를 들어, "왼쪽 사람"이라는 언어 표현이 실제 이미지 내 좌표를 가리키는 포인트 또는 박스로 연결되어야 한다. 이를 위해 SAM3 기반 에이전트가 이미지 객체를 추출하고, RLE 마스크를 생성하여 추론 과정에 정확한 시각적 정보를 제공한다.

기술적 접근법

**SAM3 기반 자동 데이터 생성 파이프라인**: 정확한 추론 트레이스를 생성하고, 객체를 추출한 후 RLE 마스크를 생성하여 포인트 및 박스 추론 데이터를 만든다.
**Grounding-aware RL**: 정답 정확도와 함께, 생성된 객체 참조가 실제 이미지 영역과 일치하는지 점수를 매기는 방식으로 학습.
**Gemma3-4B-IT 모델**: 시각적 추론을 적용한 4B 모델이 27B 모델과 유사한 성능을 보임.
**포인트 및 박스 추론**: 포인트는 카운팅, 박스는 공간 추론에서 각각 최적의 성능을 보임.

주요 결과

**카운팅 벤치마크 2개, 공간 추론 벤치마크 4개에서 Gemma3-4B-IT 모델의 성능이 기존 모델 및 non-grounded baseline 대비 향상됨.**
**공간 추론에서 4B 모델이 27B 모델과 유사하거나 더 높은 성능을 보임.**
**포인트 추론은 카운팅에서, 박스 추론은 공간 추론에서 각각 +3~5% 개선 효과를 보임.**
**Grounding-aware RL 적용 시, 박스 추론 성능이 2~4% 추가 향상됨.**

의의 및 한계

이 연구는 VLM이 추론 과정에서 시각적 증거를 명시적으로 연결함으로써 추론의 신뢰성과 학습 가능성을 높일 수 있음을 보여준다. 특히, 포인트 및 박스 추론의 차이를 분석함으로써, 특정 작업에 적합한 추론 방식을 선택할 수 있는 근거를 제공한다. 또한, SAM3 기반 자동 데이터 생성 파이프라인은 대규모 학습 데이터를 효율적으로 생성할 수 있는 기반을 마련한다. 그러나, 현재 연구는 특정 벤치마크와 모델에 국한되어 있으며, 다양한 시각적 작업에 대한 일반화 가능성은 추가 연구가 필요하다. 또한, 추론 과정에서 객체 참조가 잘못 연결될 경우, 모델의 성능이 저하될 수 있는 한계가 있다.

실용적 활용

이 연구는 시각적 추론이 필요한 의료 영상 분석, 자율 주행, 로봇 시각 처리 등 다양한 산업 분야에 적용될 수 있다. 특히, 모델이 추론 과정에서 사용한 이미지 영역을 명시적으로 표시함으로써, 사용자가 추론의 신뢰도를 확인하고, 오류를 수정할 수 있는 기반을 제공한다. 또한, 학습 과정에서 시각적 참조를 명시적으로 학습함으로써, 모델의 추론 과정을 더 정확하게 지도할 수 있다.