Bad Seeing or Bad Thinking? Rewarding Perception for Vision-Language Reasoning

Achieving robust perception-reasoning synergy is a central goal for advanced Vision-Language Models (VLMs). Recent advancements have pursued this goal via architectural designs or agentic workflows. However, these approaches are often limited by static textual reasoning or complicated by the significant compute and engineering burden of external agentic complexity. Worse, this heavy investment does not yield proportional gains, often witnessing a "seesaw effect" on perception and reasoning. This motivates a fundamental rethinking of the true bottleneck. In this paper, we argue that the root cause of this trade-off is an ambiguity in modality credit assignment: when a VLM fails, is it due to flawed perception ("bad seeing") or flawed logic ("bad thinking")? To resolve this, we introduce a reinforcement learning framework that improves perception-reasoning synergy by reliably rewarding the perception fidelity. We explicitly decompose the generation process into interleaved perception and reasoning steps. This decoupling enables targeted supervision on perception. Crucially, we introduce Perception Verification (PV), leveraging a "blindfolded reasoning" proxy to reward perceptual fidelity independently of reasoning outcomes. Furthermore, to scale training across free-form VL tasks, we propose Structured Verbal Verification, which replaces high-variance LLM judging with structured algorithmic execution. These techniques are integrated into a Modality-Aware Credit Assignment (MoCA) mechanism, which routes rewards to the specific source of error -- either bad seeing or bad thinking -- enabling a single VLM to achieve simultaneous performance gains across a wide task spectrum.

📋 한 줄 요약

**[Vision-Language Models / RL]** "잘못 본 것인가, 잘못 생각한 것인가"의 modality credit assignment 모호성을 풀기 위해, 지각 충실도를 직접 보상하는 강화학습 프레임워크 MoCA를 제안한다.

🎯 핵심 기여도

VLM의 지각-추론 시너지 한계가 modality credit assignment 모호성("bad seeing" vs "bad thinking")에서 비롯됨을 진단
생성 과정을 perception과 reasoning 단계로 명시적으로 분해하여 지각에 직접 supervision을 가할 수 있게 함
"blindfolded reasoning"을 프록시로 사용해 지각 충실도를 추론 결과와 독립적으로 보상하는 Perception Verification(PV) 도입
자유 형식 VL 태스크 학습 확장을 위해 LLM judge의 고분산을 구조화된 알고리즘 실행으로 대체하는 Structured Verbal Verification 제안, 두 기법을 MoCA로 통합

💡 핵심 아이디어

VLM이 실패할 때 잘못의 원인이 지각인지 추론인지 구분되지 않으면, 보상도 잘못된 단계에 흘러간다. perception과 reasoning을 분리해 봇 마스킹한 reasoning을 통해 지각만의 충실도를 측정·보상하면, 시소 효과 없이 두 능력을 동시에 강화할 수 있다.

🔬 기술적 접근법

**모델/방법론**: VLM 생성 과정을 interleaved perception/reasoning step으로 분해한 뒤 강화학습으로 학습하는 Modality-Aware Credit Assignment(MoCA) 프레임워크
**핵심 기법**: blindfolded reasoning 프록시 기반 Perception Verification(PV), 그리고 LLM judge를 구조화된 알고리즘 실행으로 대체하는 Structured Verbal Verification

📊 주요 결과

단일 VLM이 다양한 VL 태스크 스펙트럼에서 동시 성능 향상을 달성, 기존 방법의 "seesaw effect"를 완화
외부 에이전트적 복잡성 없이도 perception-reasoning 시너지 개선
LLM judge의 분산 문제를 구조화된 검증으로 대체해 학습 확장성 확보

💭 의의 및 한계

**의의**: VLM의 perception-reasoning 트레이드오프 원인을 modality credit assignment로 새로 진단하고, 그 자리를 직접 보상하는 단순·실용적 RL 솔루션을 제시. **한계**: blindfolded reasoning proxy 설계가 태스크 의존적이며, 모든 자유 형식 VL 태스크에 대한 structured verifier 일반화는 추가 작업 필요.

🚀 실용적 활용

차세대 VLM(예: 멀티모달 GPT/VLM 베이스라인)의 RL 파이프라인
의료 영상·문서 이해처럼 perception 충실도가 중요한 응용
LLM judge 의존도가 높은 평가/RLHF 비용을 낮추는 평가 인프라