R1-VL: Learning to Reason with Multimodal Large Language Models via Step-Wise Group Relative Policy Optimization

Recent studies generally enhance MLLMs' reasoning capabilities via supervised fine-tuning on high-quality chain-of-thought reasoning data, which often leads models to merely imitate successful reasoning paths without understanding what the wrong reasoning paths are. In this work, we aim to enhance the MLLMs' reasoning ability beyond passively imitating positive reasoning paths. To this end, we design Step-wise Group Relative Policy Optimization (StepGRPO), a new online reinforcement learning framework that enables MLLMs to self-improve reasoning ability via simple, effective and dense step-wise rewarding. Specifically, StepGRPO introduces two novel rulebased reasoning rewards: Step-wise Reasoning Accuracy Reward (StepRAR) and Step-wise Reasoning Validity Reward (StepRVR). StepRAR rewards the reasoning paths that contain necessary intermediate reasoning steps via a soft key-step matching technique, while StepRAR rewards reasoning paths that follow a well-structured and logically consistent reasoning process through a reasoning completeness and logic evaluation strategy. With the proposed StepGRPO, we introduce R1-VL, a series of MLLMs with outstanding capabilities in step-by-step reasoning. Extensive experiments over 8 benchmarks demonstrate the superiority of our methods. Code is available at link.

한 줄 요약

R1-VL은 StepGRPO를 통해 MLLM의 단계별 추론 능력을 향상시킨 모델로, StepRAR과 StepRVR을 도입해 희소 보상 문제를 해결한다.

핵심 기여도

StepGRPO: MLLM의 추론 능력을 향상시키는 온라인 강화 학습 프레임워크를 제안.
StepRAR: 소프트 키-스텝 매칭 기법을 사용해 중간 추론 단계를 보상.
StepRVR: 추론의 완전성과 논리 일관성을 평가해 보상.
R1-VL: 8개 벤치마크에서 기존 MLLM 대비 우수한 성능을 보임.

핵심 아이디어

기존 MLLM 학습은 CoT 데이터를 기반으로 한 지도 학습(SFT)에 의존하며, 이는 정답으로 이어지는 추론 경로만 학습하게 만든다. 이는 모델이 오류 추론 경로를 이해하지 못하게 만들 수 있다. 본 연구는 MLLM이 스스로 추론 능력을 개선하도록 유도하는 StepGRPO를 제안한다. StepGRPO는 단계별 보상을 통해 희소 보상 문제를 해결하고, 추론 과정의 구조적 일관성과 정확성을 동시에 강화한다. StepRAR은 중간 단계의 정확성을, StepRVR은 추론의 논리적 구조를 평가하며, 두 보상 메커니즘은 별도의 보상 모델 없이도 작동한다.

기술적 접근법

**StepGRPO**: 온라인 강화 학습 프레임워크로, MLLM이 스스로 추론 경로를 생성하고 보상에 따라 정제.
**StepRAR**: 소프트 키-스텝 매칭 기법을 사용해 중간 추론 단계의 정확성을 평가.
**StepRVR**: 추론의 완전성과 논리 일관성을 평가.
**하이퍼파라미터 M**: 한 질문당 생성되는 추론 경로 수. 실험적으로 M=4로 설정.
**온라인 학습**: 보상 모델 없이 단계별 보상으로 학습.
**워밍업 단계**: 강화 학습 전 기본 추론 지식을 학습.

주요 결과

**MathVista 데이터셋**: 워밍업 단계에서 61.2% 성능 향상.
**StepRAR + StepRVR 적용 시**: 63.7% 달성 (기존 워밍업 대비 +2.5%).
**M=4 설정 시**: 성능과 계산 효율성의 균형 확보.
**8개 벤치마크**: R1-VL이 기존 최고 성능 MLLM 대비 우수한 결과를 보임.

의의 및 한계

StepGRPO는 MLLM의 단계별 추론 능력을 향상시키는 새로운 학습 프레임워크로, 기존 SFT 방식의 한계를 극복한다. 특히, StepRAR과 StepRVR는 희소 보상 문제를 해결하고, 추론 과정의 구조적 일관성과 정확성을 동시에 강화한다. 그러나 StepGRPO는 복잡한 추론 과정에서의 오류를 완전히 제거하지 못하며, 보상 함수의 설계에 따라 성능이 크게 달라질 수 있다. 또한, MLLM의 크기나 데이터셋의 복잡도에 따라 학습 안정성이 변할 수 있다.

실용적 활용

R1-VL은 복잡한 시각-언어 추론이 필요한 의료, 교육, 자동화된 시스템 등 다양한 산업 분야에 적용 가능하다. 특히, 추론 과정의 구조적 일관성과 정확성이 중요한 상황에서 유용하며, 별도의 보상 모델 없이도 학습 가능하다는 점에서 실용성과 확장성이 높다.