Region-Level Policy Optimization for Fine-grained MLLM Perception

Fine-grained visual perception in MLLMs is commonly improved by raising the resolution, but the added visual tokens inflate vision-encoding and language-model prefilling costs. We show that the two operations underlying fine-grained perception, localizing the region of interest (RoI) and recognizing its content, have different resolution requirements. In a controlled diagnostic, localization tolerates roughly 3 to 4 times stronger token compression than recognition, which motivates localizing from a coarse view and concentrating resolution on the selected evidence. Decoding coordinates with the MLLM can be trained end-to-end from answers, but costs a full model pass per query and depends on grounding ability. A lightweight proposal network distilled from the model's attention is fast, but inherits the noise of its attention targets. The RoI from the proposal network reaches the answer through a discrete region choice, so its faithfulness to the answer cannot supervise the network. We therefore optimize the proposal network with region-level reinforcement learning, which we call Vision-RL2. It treats coherent regions as actions, and a frozen MLLM reader scores each one by how its removal changes the answer likelihood. Complementary subtractive and additive objectives suppress distracting proposals and recover missing evidence, updating only the predictor without region annotations, response sampling, or reasoning trajectories. The refined proposal further enables a sparse encoding that magnifies evidence and excludes background tokens. Across six fine-grained benchmarks and four MLLM backbones, Vision-RL2 improves accuracy over the base model at every token budget and surpasses its largest-budget accuracy with about 4 times fewer visual tokens. Code is available at https://github.com/YuHengsss/VisionRL2 .

한 줄 요약

Vision-RL2는 MLLM에서 지역 수준 강화 학습을 통해 시각 토큰 수를 4배 줄이며 정확도를 향상시키는 지역 선택 최적화 방법이다.

핵심 기여도

지역 수준 강화 학습(Vision-RL2)을 도입하여 지역 제안망(SD-RPN)을 최적화.
Vision-RL2는 기존 모델 대비 4배 적은 시각 토큰으로 정확도를 향상 (예: 128 토큰 제한에서 +14.9% 개선).
지역 제안망을 학습할 때 응답 샘플링, 지역 주석 없이 동작.
토큰 수가 동일한 조건에서 기존 최고 성능 모델을 초과.

핵심 아이디어

시각 인식에서 지역 위치(RoI)와 내용 인식은 서로 다른 해상도 요구 사항을 가진다는 사실을 발견하였다. 구체적으로, 지역 위치는 인식보다 약 3~4배 더 높은 토큰 압축을 견딜 수 있다. 이는 고해상도 처리를 필요한 지역에만 집중하는 것이 효율적임을 시사한다.

Vision-RL2는 SD-RPN으로부터 제안된 지역을 지역 수준 강화 학습을 통해 최적화한다. 이는 지역 제안망이 고정된 MLLM 읽기 모듈의 응답 가능도 변화량을 기준으로 지역을 평가하도록 유도한다. 이 방식은 지역 주석 없이도 지역 제안망을 학습할 수 있으며, 기존의 토큰 수준 감독 방식보다 정확도를 향상시킨다.

기술적 접근법

**SD-RPN**: MLLM의 중간 레이어에서 지역 제안을 생성하는 경량 제안망.
**Vision-RL2**: 지역 제안망을 강화 학습으로 최적화.
**감상 함수**: 고정된 MLLM 읽기 모듈이 지역 제거 시 응답 가능도 변화량을 기준으로 지역을 평가.
**감소 목적**: 불필요한 지역 제안 제거.
**증가 목적**: 누락된 증거 지역 복구.
**스파스 시각 인코딩**: 선택된 지역을 더 높은 해상도로 처리.
**학습 조건**: 지역 주석, 응답 샘플링, 추론 경로 없이 학습 가능.

주요 결과

**6개 세부 인식 벤치마크**에서 Vision-RL2는 기존 모델 대비 4배 적은 시각 토큰으로 정확도를 향상.
**128 토큰 제한**에서 SD-RPN 대비 +3.0%, 스파스 인코딩 추가 시 +1.5% 개선.
**기본 모델 대비 전체 시스템**에서 +14.9%의 정확도 향상.
**동일 토큰 예산**에서 기존 최고 성능 모델을 초과.

의의 및 한계

Vision-RL2는 지역 제안망을 강화 학습으로 최적화함으로써, 지역 주석 없이도 정확도를 향상시키는 새로운 접근법을 제시한다. 이는 MLLM의 효율적 인식을 가능하게 하며, 다양한 모델 구조와 벤치마크에서 일반화 가능하다.

그러나, Vision-RL2는 고정된 MLLM 읽기 모듈에 의존하므로, 읽기 모듈 자체의 성능 한계는 개선되지 않는다. 또한, 지역 제안망의 초기 학습이 SD-RPN에 의존하므로, SD-RPN의 노이즈나 불완전한 주의 분포는 Vision-RL2에도 영향을 줄 수 있다.

실용적 활용

Vision-RL2는 고해상도 이미지 처리가 필요한 의료 영상 분석, 자율주행 시스템, 세부 인식이 요구되는 고객 서비스 등에서 활용 가능하다. 특히, 토큰 예산이 제한된 환경에서 정확도를 유지하면서도 처리 효율성을 높이는 데 유용하다.