PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking

This paper explores multi-turn visual reasoning and observes that MLLMs repeatedly fail to localize the target, leading to long, redundant trajectories. We attribute this failure to the entanglement of reasoning and perception within a single model, the MLLM reasons and localizes simultaneously, and inaccurate localization triggers additional reasoning turns that bloat the trajectory. To solve this problem, we propose PixelEyes, a multi-turn visual reasoning agent that explicitly decouples reasoning from perception, i.e., the reasoner decides what to look for, while a specialized perception tool answers where it is. Specifically, PixelEyes introduces 1) Mask-guided Visual Search. A referring segmentation model is invoked to provide mask-precise localization, freeing the reasoner from the need to compensate for imprecise grounding. 2) Semantic-region Breadth-first Search (BFS). To eliminate redundant loops caused by repeatedly cropping incorrect sub-regions, we organize exploration as a breadth-first search over semantic regions. To internalize these capabilities, we construct the PixelEyes-6K dataset by resynthesizing expert trajectories from existing data. This explicitly embeds our mask-guided search and BFS logic into the model. We further introduce Pinpoint-Bench, a zero-hint visual search benchmark, i.e., no location cues are provided in the question, with instance-level masks and bounding boxes that separate localization failures from reasoning failures, enabling fine-grained analysis of failure modes such as inattentional blindness. Recent state-of-the-art MLLMs and visual reasoning agents leave large headroom on Pinpoint-Bench, demonstrating its quality and difficulty. Code and models are open-sourced.

한 줄 요약

PixelEyes는 시각 추론 과정에서 인지와 지각을 분리하여 정밀한 타겟 탐색을 가능하게 하는 시스템이다.

핵심 기여도

PixelEyes는 Mask-guided Visual Search와 Semantic-region BFS를 도입하여, MLLMs의 불필요한 탐색을 줄인다.
PixelEyes-6K 데이터셋(5.8K 트래젝토리)을 생성하여, 모델 학습에 구조적 탐색 로직을 내재화한다.
Pinpoint-Bench라는 새로운 벤치마크를 제안하여, 정밀한 시각 탐색 성능을 평가한다.
SAMTok을 사용한 마스크 기반 탐색이 기존 Bounding Box 기반 방법보다 16.0% 더 높은 정확도를 보인다.

핵심 아이디어

기존 MLLMs는 추론과 지각을 동일 모델에서 동시에 수행하며, 이로 인해 정확한 로컬라이제이션 실패가 반복적으로 발생한다. 이는 불필요한 추론 턴을 유발하여 전체 탐색 경로를 비효율적으로 만든다. PixelEyes는 이 문제를 해결하기 위해 **추론**(what to look for)과 **지각**(where it is)을 분리하는 새로운 패러다임을 제안한다. 구체적으로, 강력한 일반 VLM이 타겟의 의미를 결정하고, 외부의 **referring-segmentation 모델**(SAMTok)이 정밀한 마스크를 반환하여 로컬라이제이션을 담당한다. 이는 기존의 Bounding Box 기반 탐색보다 정확도를 크게 향상시킨다.

기술적 접근법

**Mask-guided Visual Search**: SAMTok을 활용한 마스크 기반 탐색으로, 정밀한 로컬라이제이션을 제공한다.
**Semantic-region BFS**: 잘못된 하위 영역을 반복적으로 자르는 문제를 해결하기 위해 의미적 영역 기반의 너비 우선 탐색(BFS)을 도입한다.
**Switchable Tool Use**: 마스크 기반 탐색이 불가능한 경우(예: 차트, 지도)에는 Bounding Box 기반으로 전환한다.
**PixelEyes-6K 데이터셋**: Gemini-3-Flash에 마스크 기반 자르기 도구를 추가하여 합성한 5.8K 트래젝토리 데이터로, 구조적 탐색 로직을 학습에 내재화한다.
**Pinpoint-Bench**: 초고해상도 이미지 기반, 인스턴스 레벨 마스크와 바운딩 박스를 포함한 433개 샘플로 구성된 새로운 벤치마크.

주요 결과

**VisualProbe-Hard**에서 PixelEyes는 54.72%의 정확도를 달성하며, 기존 Mini-o3 기반 모델 대비 +16.0% 개선.
**Pinpoint-Bench**에서 54.73%의 정확도를 기록하며, 기존 최신 MLLMs 대비 높은 성능을 보인다.
**HR-Bench-4K**에서 Bounding Box 전환 기능을 활성화하면 +1.75%의 성능 향상.
**SAMTok**은 마스크 생성 성공률(ISR) 99.17%를 달성하며, Sa2VA 대비 훨씬 높은 정밀도를 보인다.

의의 및 한계

PixelEyes는 추론과 지각을 분리함으로써 기존 MLLMs의 **무효한 탐색**(redundant loops)과 **주의력 결핍**(inattentional blindness) 문제를 해결한다. 특히, 마스크 기반 탐색과 BFS 전략은 정밀도와 효율성을 동시에 향상시키며, 학습 데이터 구조의 질이 수량보다 더 중요한 역할을 한다는 점을 입증한다. 그러나, **고해상도 이미지에서의 마스크 생성 실패**(예: Sa2VA의 경우)는 여전히 한계로 작용하며, 이는 강력한 지각 도구에 대한 의존도를 드러낸다.

실용적 활용

PixelEyes는 문서 해석, 의료 영상 분석, 보안 감시 등 정밀한 시각 탐색이 필요한 산업 분야에 적용 가능하다. 특히, **초고해상도 이미지에서의 미세 객체 탐지** 및 **다중 단계 추론 과정**에서 유용하며, **자율 시스템**(예: 드론, 로봇)의 탐색 정확도를 향상시키는 데 활용될 수 있다.