V-Rubrics: Visual Faithfulness via Rubric-Based Reinforcement Learning

Vision-language models can produce fluent answers that are insufficiently grounded in the visual evidence: a single unsupported object, chart value, or intermediate inference can undermine an otherwise plausible response. We argue that this is a credit-assignment failure in multimodal post-training. Scalar outcome rewards indicate whether an answer is acceptable, but do not identify which visual facts are grounded, which reasoning steps are valid, or which instruction constraints are missed. We introduce Visual Rubrics-Based Reinforcement Learning, which decomposes reference responses into atomic propositions and scores generated answers along Visual Faithfulness (VF), Reasoning Consistency (RC), and Instruction Following (IF). The resulting rubric items provide structured partial credit and localize rubric credit when supporting evidence spans are available. We first obtain an SFT checkpoint by fine-tuning Qwen3-VL-8B-Instruct on the public OpenMMReasoner-SFT-874K corpus, adapting OpenMMReasoner's cold-start data recipe. We construct V-Rubrics 50K, a 50,248-example training set from 17 visually grounded sources, by applying rule-based filters before deriving example difficulty from rejection-sampling scores and then annotating every example with Gemini-3-Pro under the same structured prompt and protocol. We train our model based on the same SFT checkpoint using component-wise, prefix-localized rubric credit. Experiments show that our rubricbased GRPO improves over both the shared SFT baseline and answer-only GRPO, with the largest gains on knowledge-oriented and visually grounded reasoning benchmarks. The results show rubrics as a useful reward abstraction for visual post-training.

한 줄 요약

V-Rubrics는 시각적 근거성을 세부 항목 기반 강화 학습으로 향상시키는 VLM 후학습 프레임워크이다.

핵심 기여도

**Visual Rubrics-Based Reinforcement Learning** 프레임워크를 제안하여, 시각적 근거성(VF), 추론 일관성(RC), 지시 준수(IF)를 세부 항목으로 분해하고 강화 학습 신호로 활용.
**V-Rubrics 50K**라는 50,248개 샘플로 구성된 데이터셋을 구축, 각 샘플은 17개 시각적 근거 자료에서 추출하며, Gemini-3-Pro를 사용한 구조화된 어노테이션 포함.
**Component-wise, prefix-localized rubric credit** 방식을 도입하여, 각 항목별 점수를 유지하고, 해당 항목에 해당하는 응답 prefix에 강화 신호를 국지화.
**Rubric-based GRPO**가 기존 SFT 기반 및 answer-only GRPO 대비 시각적 추론 벤치마크에서 가장 큰 성능 향상 기록.

핵심 아이디어

기존 VLM 후학습에서 단일 결과 기반의 강화 학습은 시각적 근거성, 추론 일관성, 지시 준수를 구분하지 못해 **credit-assignment failure**를 초래한다. 이를 해결하기 위해, V-Rubrics는 **reference response를 atomic propositions으로 분해**하고, **VF, RC, IF 세 가지 차원**으로 평가하여 **structured partial credit**을 부여한다. 특히, **supporting evidence spans이 존재할 경우 해당 prefix에만 reward를 국지화**하여, 모델이 구체적인 오류를 학습할 수 있도록 유도한다. 이는 단순히 전체 응답을 평가하는 기존 방법과 달리, **추론 과정의 세부 단계까지 학습 가능**하게 만든다.

기술적 접근법

**SFT 초기화**: Qwen3-VL-8B-Instruct를 **OpenMMReasoner-SFT-874K** 데이터셋으로 fine-tuning하여 SFT checkpoint를 생성.
**V-Rubrics 50K 데이터셋 구축**: 17개 시각적 근거 자료에서 50,248개 샘플 추출. **rule-based filters** 적용 후, **rejection-sampling scores**로 난이도 산출. 이후 **Gemini-3-Pro**를 사용해 구조화된 프롬프트와 프로토콜로 어노테이션 수행.
**Rubric-based RL 학습**: **Component-wise, prefix-localized rubric credit** 방식을 사용. 각 rubric item을 별도로 평가하고, 해당 rubric이 참조하는 응답 prefix에만 reward를 적용.
**GRPO 알고리즘**: Rubric 기반 GRPO가 SFT 기반 및 answer-only GRPO 대비 시각적 추론 성능을 향상.

주요 결과

**Rubric-based GRPO**는 SFT 기반 및 answer-only GRPO 대비 시각적 추론 벤치마크에서 **가장 큰 성능 향상**을 보임.
**V-Rubrics 50K** 데이터셋 기반 학습으로, **지식 중심 및 시각적 근거 추론** 벤치마크에서 특히 높은 개선 폭 기록.
**Ablation study** 결과, **component-wise + prefix-localized** 설계가 단일 sequence-level rubric aggregation보다 효과적임을 확인.

의의 및 한계

V-Rubrics는 시각적 근거성을 **구조화된 학습 인터페이스**로 전환하여, VLM의 후학습 과정에서 **추론의 성공/실패 지점을 명확히 파악**할 수 있도록 한다. 이는 기존 평가 중심 접근에서 벗어나, 학습 과정 자체에서 시각적 근거성을 강화하는 새로운 패러다임을 제시한다. 그러나, **V-Rubrics 50K 데이터셋은 17개 시각적 자료에 의존**하며, 더 다양한 도메인에서의 일반화 가능성은 추가 실험 필요. 또한, **Gemini-3-Pro 기반 어노테이션의 신뢰도**는 외부 검증이 필요하다.

실용적 활용

V-Rubrics는 **의료 이미지 해석, 문서 분석, 차트 추론** 등 시각적 근거가 필수적인 산업 분야에서 활용 가능하다. 특히, **복잡한 시각적 추론이 필요한 자동화 시스템**에서 모델의 신뢰도를 향상시키는 데 기여할 수 있다. 연구적으로는 **다중 모달 학습 인터페이스 설계**에 새로운 방향을 제시한다.