multimodal-llm video-reasoning temporal-modeling vsi-bench video-mmmu video-r1-cot-165k video-r1-260k r1-paradigm
Abstract
Inspired by DeepSeek-R1's success in eliciting reasoning abilities through rule-based reinforcement learning (RL), we introduce Video-R1 as the first attempt to systematically explore the R1 paradigm for incentivizing video reasoning within multimodal large language models (MLLMs). However, directly applying RL training with the GRPO algorithm to video reasoning presents two primary challenges: (i) a lack of temporal modeling for video reasoning, and (ii) the scarcity of high-quality video-reasoning data. To address these issues, we first propose the T-GRPO algorithm, which encourages models to utilize temporal information in videos for reasoning. Additionally, instead of relying solely on video data, we incorporate high-quality image-reasoning data into the training process. We have constructed two datasets: Video-R1-CoT-165k for SFT cold start and Video-R1-260k for RL training, both comprising image and video data. Experimental results demonstrate that Video-R1 achieves significant improvements on video reasoning benchmarks such as VideoMMMU and VSI-Bench, as well as on general video benchmarks including MVBench and TempCompass, etc. Notably, Video-R1-7B attains a 37.1% accuracy on video spatial reasoning benchmark VSI-bench, surpassing the commercial proprietary model GPT-4o. All code, models, and data are released in: https://github.com/tulerfeng/Video-R1.
한국어 요약
한 줄 요약
Video-R1은 MLLM에서 비디오 추론 능력을 강화하기 위해 T-GRPO 알고리즘과 Video-R1-260k 데이터셋을 도입한 첫 시스템적 연구이다.
핵심 기여도
- T-GRPO: GRPO 알고리즘의 시간적 추론 촉진 확장.
- Video-R1-CoT-165k (SFT)와 Video-R1-260k (RL) 데이터셋 구축.
- Video-R1-7B가 VSI-Bench에서 37.1% 정확도 달성, GPT-4o를 초과.
- 이미지-비디오 혼합 학습으로 추론 성능 향상.
핵심 아이디어
기존 GRPO 알고리즘은 비디오 추론에 필요한 시간적 정보를 고려하지 못한다는 한계가 있었다. 이를 해결하기 위해 Video-R1은 T-GRPO를 제안하여, 시간 순서대로 정렬된 프레임과 랜덤하게 섞인 프레임의 추론 성능을 비교하며 시간적 추론을 강화한다. 또한, 고질적인 비디오 추론 데이터 부족 문제를 해결하기 위해 이미지 기반 추론 데이터를 학습에 포함시켰다. 이는 추론 능력을 비디오로 전이하는 데 기여하며, Video-R1-CoT-165k와 Video-R1-260k 데이터셋을 통해 학습 초기 단계(SFT)와 강화 학습(RL) 단계를 모두 지원한다.
기술적 접근법
- **T-GRPO 알고리즘**: GRPO의 확장으로, 정렬된 프레임과 섞인 프레임의 추론 성능을 비교하여 시간적 추론을 촉진.
- **데이터셋**:
- Video-R1-CoT-165k: SFT 초기 학습용, 이미지와 비디오 포함.
- Video-R1-260k: RL 학습용, 동일한 형식.
- **모델 아키텍처**: MLLM 기반, Video-R1-7B 버전 사용.
- **학습 전략**: SFT로 초기 학습 후 RL로 최종 학습.
주요 결과
- **VSI-Bench**: Video-R1-7B, 37.1% 정확도 (GPT-4o 대비 +1.6%)
- **VideoMMMU, MVBench, TempCompass 등**: 전반적으로 상승.
- **Ablation Study**: T-GRPO 제거 시 10% 이상 성능 하락, 이미지 데이터 제거 시 8% 이상 하락.
- **SFT 없이 RL 학습 시**: 12% 이상 성능 저하.
의의 및 한계
Video-R1은 MLLM에서 비디오 추론을 체계적으로 강화하는 첫 사례로, T-GRPO와 데이터셋 구축을 통해 시간적 추론 능력을 효과적으로 학습할 수 있음을 입증했다. 특히, GPT-4o를 상회하는 성능은 MLLM의 비디오 추론 가능성을 확장하는 데 기여한다. 그러나, 현재 데이터셋은 공개된 것이 아니며, 비디오 데이터의 질과 양이 모델 성능에 큰 영향을 미친다는 점이 한계로 지적된다. 또한, T-GRPO는 시간적 정보를 강화하지만, 복잡한 다중 객체 추론 등은 여전히 제한적일 수 있다.
실용적 활용
Video-R1은 영상 기반 자동화 시스템, 영상 해석 AI, 영상 기반 고객 지원 서비스 등에서 활용 가능하다. 특히, 시간적 맥락을 고려한 추론이 필요한 산업 분야에서 MLLM의 활용 범위를 확장할 수 있다.