Perceive-to-Reason: Decoupling Perception and Reasoning for Fine-Grained Visual Reasoning

Fine-grained visual reasoning remains challenging for vision-language models, especially when small but critical visual cues are buried in high-resolution images. Existing approaches rely on repeated cropping or test-time visual search to introduce local evidence, but they typically do not explicitly distinguish perception from reasoning. In this paper, we propose Perceive-to-Reason (P2R), a unified framework that formulates fine-grained visual reasoning as a two-stage process: the model first localizes question-relevant evidence as a Perceiver, and then answers the question as a Reasoner based on the annotated image and cropped regions. To better align training with this decoupled formulation, we further introduce Perception-Reasoning Alternating GRPO (PRA-GRPO), a role-aware reinforcement learning strategy that alternates between perception-focused and reasoning-focused updates using only final-answer supervision. Built on top of Qwen3-VL-Instruct-2B/4B/8B, P2R consistently improves performance across model scales. In particular, P2R-4B achieves 93.2% on V-Star, 81.9% on HR-Bench-4K, and 80.5% on HR-Bench-8K, substantially outperforming its corresponding backbone. Further experiments show that the benefits of P2R extend beyond high-resolution benchmarks to broader multimodal reasoning tasks. These results suggest that explicitly decoupling perception from reasoning provides an effective framework for fine-grained visual reasoning.

한 줄 요약

P2R은 고해상도 이미지에서 미세한 시각적 증거를 추출하고 추론하는 두 단계 프레임워크로, V-Star에서 93.2%의 정확도를 달성했다.

핵심 기여도

P2R은 Perceiver와 Reasoner로 구성된 두 단계 프레임워크로, 시각 증거 추출과 추론을 분리한다.
PRA-GRPO라는 역할 인식 강화 학습 전략을 도입해, 최종 답변만으로 학습한다.
Qwen3-VL-Instruct-4B 기반 모델에서 V-Star 93.2%, HR-Bench-4K 81.9%, HR-Bench-8K 80.5%의 성능을 달성했다.
기존 베이스라인 대비 7.5~8.4%의 성능 향상이 관찰되었다.

핵심 아이디어

P2R은 고해상도 이미지에서 미세한 시각적 증거를 추출하고 이를 기반으로 추론하는 과정을 명시적으로 분리하는 두 단계 프레임워크이다. 첫 번째 단계인 Perceiver는 질문과 관련된 시각적 증거를 로컬라이즈하고, 두 번째 단계인 Reasoner는 해당 증거를 바탕으로 질문에 답변한다. 이는 기존 접근법이 증거 추출과 추론을 혼합하거나 별도의 검색 과정을 통해 외부화하는 문제를 해결한다. 핵심 통찰은 "where to look" 결정을 명시적으로 학습함으로써 미세한 시각적 추론을 개선할 수 있다는 점이다.

기술적 접근법

**P2R 프레임워크**: Perceiver와 Reasoner로 구성된 두 단계 구조. Perceiver는 질문에 관련된 이미지 영역을 로컬라이즈하고, Reasoner는 해당 영역을 기반으로 답변을 생성한다.
**PRA-GRPO 알고리즘**: 역할 인식 강화 학습 전략으로, Perceive와 Reason 단계를 번갈아 최적화하며, 최종 답변 정확도만을 사용해 학습한다.
**모델 기반**: Qwen3-VL-Instruct-2B/4B/8B를 기반으로 구현.
**학습 전략**: Ground-truth 바운딩 박스 없이 최종 답변만으로 학습 가능.

주요 결과

P2R-4B는 V-Star에서 93.2% (기존 81.7% 대비 +11.5%), HR-Bench-4K에서 81.9% (기존 73.0% 대비 +8.9%), HR-Bench-8K에서 80.5% (기존 72.1% 대비 +8.4%)의 성능을 달성했다.
모든 모델 규모(2B, 4B, 8B)에서 기존 베이스라인 대비 일관된 성능 향상이 관찰되었다.
고해상도 벤치마크 외에도 다중 모달 추론 작업에서도 성능 향상이 보고되었다.

의의 및 한계

P2R은 고해상도 이미지에서 미세한 시각적 증거를 추출하고 이를 기반으로 추론하는 과정을 명시적으로 분리함으로써, 기존 접근법의 한계를 극복한다. 특히, PRA-GRPO를 통해 최종 답변만으로 학습할 수 있어, 복잡한 바운딩 박스 라벨링이 필요 없는 실용적 장점을 제공한다. 그러나, P2R은 여전히 고해상도 이미지에만 최적화되어 있고, 일반적인 시각-언어 작업에서의 확장성은 추가 실험을 통해 검증되어야 한다.

실용적 활용

P2R은 고해상도 이미지 기반의 미세한 시각적 추론이 필요한 산업 분야, 예를 들어 의료 영상 분석, 보안 감시, 디지털 아카이브 검색 등에 적용 가능하다. 또한, 복잡한 시각-언어 작업에서의 정확도 향상이 필요한 연구 분야에도 유용하게 활용될 수 있다.