V-Zero: Answer-Label-Free On-Policy Distillation with Contrastive Evidence Gating for Fine-Grained Visual Reasoning

Fine-grained visual reasoning requires multimodal large language models (MLLMs) to identify task-relevant visual evidence and ground their reasoning in local image regions. Existing agentic methods typically rely on reinforcement learning with verifiable rewards or supervised fine-tuning on large-scale annotated reasoning traces, leading to costly exploration, hand-designed verification rules, or heavy dependence on textual supervision. A natural way to avoid such external answer labels is to learn from trajectories sampled by the student itself, which points to On-Policy Distillation (OPD). To understand what OPD can and cannot provide for visual reasoning, we revisit it as negative-free stop-gradient alignment. This perspective shows that, although OPD provides effective token-level correction, its ceiling is constrained by the absence of trajectory-level discrimination. Motivated by these observations, we propose V-Zero, an answer-label-free framework for visual reasoning with contrastive evidence gating. V-Zero uses no annotated textual answer labels; instead, during training it pairs a question-relevant regional crop with a negative visual view to evaluate student-sampled trajectories and gate dense token-level distillation. Experiments on multiple visual reasoning benchmarks show that V-Zero consistently improves fine-grained visual reasoning while preserving strong generalization. Notably, V-Zero is more than 5times faster than previous supervised fine-tuning methods and more than 10times faster than reinforcement learning baselines. Code and dataset will be released at https://github.com/eVI-group-SCU/V-Zero

한 줄 요약

V-Zero는 정답 라벨 없이 대비적 증거 게이팅을 활용한 시각적 추론 프레임워크이다.

핵심 기여도

정답 라벨 없이 On-Policy Distillation(OPD)을 활용한 시각적 추론 학습 프레임워크 제안 (V-Zero).
대비적 증거 게이팅 모듈을 도입하여 질문 관련 이미지 영역과 음성 시각 뷰를 짝짓고, 토큰 수준 지도를 제어.
기존 감독 학습 대비 5배, 강화 학습 대비 10배 이상 빠른 학습 속도 달성.
다양한 시각적 추론 벤치마크에서 일반화 능력 유지하면서 미세한 시각적 추론 성능 향상.

핵심 아이디어

기존 시각적 추론 모델은 정답 라벨이나 복잡한 보상 함수에 의존하는 경향이 있다. V-Zero는 정답 라벨 없이 학습자의 자체 샘플링된 트래젝토리에서 학습하는 OPD를 활용한다. 이 접근법은 토큰 수준의 정확성은 개선하지만, 트래젝토리 수준의 구분 능력은 제한된다는 한계를 드러낸다. 이를 극복하기 위해 대비적 증거 게이팅 모듈을 도입하여, 질문 관련 이미지 영역과 음성 시각 뷰를 짝짓고, 이를 통해 토큰 수준 지도를 제어한다. 이는 시각적 증거를 효과적으로 식별하고, 추론 과정을 지역적 이미지 영역에 바탕으로 하게 만든다.

기술적 접근법

On-Policy Distillation(OPD)을 활용한 정답 라벨 없는 학습 프레임워크.
대비적 증거 게이팅 모듈을 통해 질문 관련 이미지 크롭과 음성 시각 뷰를 짝짓고, 토큰 수준 지도를 제어.
학습 과정에서 stop-gradient alignment을 사용하여 토큰 수준 정확성 보장.
학습 데이터는 학습자 자체 샘플링된 트래젝토리에 기반.

주요 결과

V-Zero는 다양한 시각적 추론 벤치마크에서 기존 감독 학습 대비 5배, 강화 학습 대비 10배 이상 빠른 학습 속도를 보임.
정답 라벨 없이도 미세한 시각적 추론 성능을 유지하면서 일반화 능력 향상.
토큰 수준의 정확성과 트래젝토리 수준의 구분 능력을 동시에 개선.

의의 및 한계

V-Zero는 정답 라벨 없이도 시각적 추론을 학습할 수 있는 새로운 접근법을 제시하며, 기존 방법 대비 빠른 학습 속도와 높은 일반화 능력을 보인다. 이는 대규모 어노테이션 없이도 시각적 추론 모델을 효과적으로 학습할 수 있는 가능성을 열어준다. 그러나 OPD의 본질적 한계로 인해 트래젝토리 수준의 구분 능력은 여전히 제한될 수 있으며, 이는 추후 연구에서 개선이 필요하다.

실용적 활용

V-Zero는 대규모 어노테이션이 어려운 시각적 추론 작업, 예를 들어 의료 영상 분석, 자율 주행 시스템, 또는 교육용 시각적 QA 시스템 등에서 유용하게 활용될 수 있다.