VL-Rethinker: Incentivizing Self-Reflection of Vision-Language Models with Reinforcement Learning

Recently, slow-thinking systems like GPT-o1 and DeepSeek-R1 have demonstrated great potential in solving challenging problems through explicit reflection. They significantly outperform the best fast-thinking models, such as GPT-4o, on various math and science benchmarks. However, their multimodal reasoning capabilities remain on par with fast-thinking models. For instance, GPT-o1's performance on benchmarks like MathVista, MathVerse, and MathVision is similar to fast-thinking models. In this paper, we aim to enhance the slow-thinking capabilities of vision-language models using reinforcement learning (without relying on distillation) to advance the state of the art. First, we adapt the GRPO algorithm with a novel technique called Selective Sample Replay (SSR) to address the vanishing advantages problem. While this approach yields strong performance, the resulting RL-trained models exhibit limited self-reflection or self-verification. To further encourage slow-thinking, we introduce Forced Rethinking, which appends a rethinking trigger token to the end of rollouts in RL training, explicitly enforcing a self-reflection reasoning step. By combining these two techniques, our model, VL-Rethinker, advances state-of-the-art scores on MathVista, MathVerse to achieve 80.4%, 63.5% respectively. VL-Rethinker also achieves open-source SoTA on multi-disciplinary benchmarks such as MathVision, MMMU-Pro, EMMA, and MEGA-Bench, narrowing the gap with OpenAI-o1. Our empirical results show the effectiveness of our approaches.

한 줄 요약

VL-Rethinker는 강화학습을 활용해 시각-언어 모델의 자기반성 능력을 향상시킨 모델로, MathVista에서 80.4%의 성능을 달성했다.

핵심 기여도

GRPO 알고리즘에 Selective Sample Replay (SSR) 기법을 결합하여 vanishing advantages 문제를 해결.
새로운 강화학습 기반 기법인 Forced Rethinking을 도입하여 모델의 자기반성 단계를 강제.
VL-Rethinker는 MathVista에서 80.4%, MathVerse에서 63.5%의 최고 성능을 달성.
MMMU-Pro, EMMA, MEGA-Bench 등 다학제적 벤치마크에서 open-source 최고 성능을 기록.

핵심 아이디어

기존의 slow-thinking 모델(GPT-o1, DeepSeek-R1 등)은 수학 및 과학 문제 해결에서 뛰어난 성능을 보이지만, 시각-언어(Vision-Language) 태스크에서는 fast-thinking 모델과 유사한 성능을 나타냈다. 이에 연구자들은 강화학습(RL)을 활용해 VLM의 slow-thinking 능력을 향상시키는 새로운 접근법을 제안했다. GRPO 알고리즘은 그룹 내 응답 간 비교를 통해 정책 업데이트를 수행하지만, 모든 응답이 동일한 보상을 받는 경우 'vanishing advantages' 문제가 발생한다. 이를 해결하기 위해 SSR 기법을 도입해 과거의 높은 가치를 가진 샘플을 재학습에 활용함으로써 학습 안정성을 높였다. 또한, Forced Rethinking 기법을 통해 모델이 스스로 반성하고 검증하도록 유도하여, 수학적 추론 능력을 향상시켰다.

기술적 접근법

**GRPO + SSR**: GRPO 알고리즘에 SSR 기법을 결합하여 vanishing advantages 문제를 해결. SSR은 과거의 높은 advantage를 가진 샘플을 재학습에 포함.
**Forced Rethinking**: rollouts의 끝에 rethinking trigger token을 추가하여 모델이 스스로 반성하도록 강제.
**데이터셋**: 38,870개의 query로 구성된 다학제적 데이터셋 사용.
**훈련 설정**: 최대 3 에포크, 512 query-response pair 배치 크기, 8개의 응답 샘플링.
**하이퍼파라미터**: 1024 query 마다 정책 동기화, SSR 버퍼는 에피소드 당 유지.

주요 결과

**MathVista**: VL-Rethinker는 80.4% (GPT-o1 대비 +6.5%)
**MathVerse**: 63.5% (GPT-o1 대비 +6.5%)
**MMMU-Pro, EMMA, MEGA-Bench**: open-source 최고 성능 달성, GPT-o1과의 격차 축소
**Qwen2.5-VL-72B 대비**: MathVista에서 +5.6%, MathVerse에서 +0.3% 개선

의의 및 한계

VL-Rethinker는 강화학습을 기반으로 VLM의 slow-thinking 능력을 향상시키는 새로운 접근법을 제시하며, 수학 및 다학제적 추론 태스크에서 open-source 최고 성능을 달성했다. 특히, distillation 없이 직접 RL을 활용한 점에서 기존 방법과 차별화된다. 그러나, 시각-언어 태스크에서 모델이 자연스럽게 긴 추론 과정을 생성하지 않는다는 한계가 존재하며, 이는 RL이 수학 태스크와 다중 모달 태스크에서 다른 방식으로 반성을 유도한다는 점에서 향후 연구 주제로 제시된다.

실용적 활용

VL-Rethinker는 복잡한 수학 문제 해결, 다학제적 시각-언어 추론, 대규모 시각 데이터 분석 등에 활용 가능하다. 특히, 교육, 연구, 자동화된 시스템 분야에서 정확한 추론과 검증이 필요한 상황에 적합하다.