Pixel Reasoner: Incentivizing Pixel-Space Reasoning with Curiosity-Driven Reinforcement Learning

Chain-of-thought reasoning has significantly improved the performance of Large Language Models (LLMs) across various domains. However, this reasoning process has been confined exclusively to textual space, limiting its effectiveness in visually intensive tasks. To address this limitation, we introduce the concept of reasoning in the pixel-space. Within this novel framework, Vision-Language Models (VLMs) are equipped with a suite of visual reasoning operations, such as zoom-in and select-frame. These operations enable VLMs to directly inspect, interrogate, and infer from visual evidences, thereby enhancing reasoning fidelity for visual tasks. Cultivating such pixel-space reasoning capabilities in VLMs presents notable challenges, including the model's initially imbalanced competence and its reluctance to adopt the newly introduced pixel-space operations. We address these challenges through a two-phase training approach. The first phase employs instruction tuning on synthesized reasoning traces to familiarize the model with the novel visual operations. Following this, a reinforcement learning (RL) phase leverages a curiosity-driven reward scheme to balance exploration between pixel-space reasoning and textual reasoning. With these visual operations, VLMs can interact with complex visual inputs, such as information-rich images or videos to proactively gather necessary information. We demonstrate that this approach significantly improves VLM performance across diverse visual reasoning benchmarks. Our 7B model, \model, achieves 84\% on V* bench, 74\% on TallyQA-Complex, and 84\% on InfographicsVQA, marking the highest accuracy achieved by any open-source model to date. These results highlight the importance of pixel-space reasoning and the effectiveness of our framework.

한 줄 요약

Pixel-Reasoner는 시각 정보를 직접 조작하는 픽셀 공간 추론을 강화 학습을 통해 구현한 최초의 VLM이다.

핵심 기여도

픽셀 공간 추론(pixel-space reasoning)이라는 새로운 개념을 최초로 도입.
7,500개의 합성 추론 트레이스를 사용한 instruction tuning과, 호기심 기반 강화 학습(RL)을 결합한 2단계 훈련 프레임워크 제안.
Zoom-in, select-frame 등의 시각 연산을 통해 VLM이 시각 정보를 직접 조사하고 추론할 수 있도록 구현.
V*, TallyQA-Complex, InfographicsVQA에서 각각 84%, 74%, 84%의 정확도를 달성하여 오픈소스 모델 중 최고 성능 기록.

핵심 아이디어

기존 VLM은 추론 과정을 텍스트 공간에만 제한하여 시각 정보를 직접 조작하지 못하는 한계가 있었다. Pixel-Reasoner는 이 문제를 해결하기 위해 추론 과정 자체를 픽셀 공간으로 확장하는 새로운 패러다임을 제안한다. 이는 VLM이 'zoom-in' 또는 'select-frame'과 같은 시각 연산을 직접 수행하며, 시각 정보를 조사하고 추론하는 방식이다. 이는 기존 텍스트 기반 추론과는 달리, 시각적 증거를 직접 활용함으로써 추론의 정확도와 세부성을 향상시킨다.

이를 위해서는 기존 VLM이 시각 연산을 이해하고 활용하도록 훈련하는 것이 필수적이며, 이 과정에서 모델이 텍스트 추론에 지나치게 의존하는 '학습 트랩(learning trap)'이 발생할 수 있다. 이를 해결하기 위해 Pixel-Reasoner는 instruction tuning과 curiosity-driven RL을 결합한 2단계 훈련 방식을 채택한다.

기술적 접근법

**Instruction Tuning**: 합성된 7,500개의 추론 트레이스를 사용하여 VLM이 시각 연산(zoom-in, select-frame)을 이해하도록 훈련.
**Reinforcement Learning (RL)**: 호기심 기반 보상(curiosity-driven reward)을 도입하여 픽셀 공간 추론과 텍스트 추론 간 탐색-활용 균형을 조절.
**모델 아키텍처**: Qwen2.5-VL-7B 기반으로 구축.
**훈련 환경**: 8 × A800(80G) GPU, Open-R1과 OpenRLHF 프레임워크 사용.
**샘플링 전략**: GRPO(Gradient-based Policy Optimization)와 선택적 샘플 전달(selective sample relay)을 결합하여 보상 소멸 문제를 완화.

주요 결과

**V* Bench**: 84% (기존 오픈소스 모델 대비 최고 성능)
**TallyQA-Complex**: 74% (기존 대비 +10% 이상 향상)
**InfographicsVQA**: 84% (기존 대비 +12% 이상 향상)
Gemini-2.5-Pro, GPT-4o 등 프로퍼티어리 모델을 포함한 여러 기존 VLM 대비 우수한 성능 기록.

의의 및 한계

Pixel-Reasoner는 VLM이 시각 정보를 직접 조작하고 추론하는 새로운 패러다임을 제시함으로써, 시각 추론의 한계를 극복하는 데 기여한다. 특히, 호기심 기반 RL을 통해 모델이 시각 연산을 적극적으로 활용하도록 유도하는 점이 학술적·실용적 의미가 크다.

그러나 현재는 'zoom-in'과 'select-frame' 두 가지 연산만 지원하며, 더 복잡한 시각 작업(예: depth map, image search)은 아직 미지원 상태이다. 또한, 학습 트랩 문제를 완전히 해결하지 못한 채 일부 시각 연산을 회피하는 경향이 여전히 존재한다. 향후 다양한 시각 연산을 추가하고, 학습 프로세스를 더 안정적으로 만드는 것이 필요하다.

실용적 활용

Pixel-Reasoner는 정보가 풍부한 이미지나 동영상 분석이 필요한 산업 분야(예: 의료 영상 해석, 자동차 시각 시스템, 교육 콘텐츠 분석)에 적용 가능하다. 또한, 복잡한 시각 정보를 처리하는 연구 분야(예: 인공지능 기반 영상 해설, 인포그래픽 이해)에서도 활용도가 높다.