Time-R1: Post-Training Large Vision Language Model for Temporal Video Grounding

Temporal Video Grounding (TVG), the task of locating specific video segments based on language queries, is a core challenge in long-form video understanding. While recent Large Vision-Language Models (LVLMs) have shown early promise in tackling TVG through supervised fine-tuning (SFT), their abilities to generalize remain limited. To address this, we propose a novel post-training framework that enhances the generalization capabilities of LVLMs via reinforcement learning (RL). Specifically, our contributions span three key directions: (1) Time-R1: we introduce a reasoning-guided post-training framework via RL with verifiable reward to enhance the capabilities of LVLMs on the TVG task. (2) TimeRFT: we explore data-efficient post-training strategies on our curated RL-friendly dataset, which trains the model to progressively comprehend difficult samples, leading to better generalization. (3) TVGBench: we carefully construct a small yet comprehensive benchmark for LVLM evaluation, assessing 11 types of queries and featuring balanced distributions across both videos and queries. Extensive experiments demonstrate that Time-R1 achieves state-of-the-art performance across multiple downstream datasets using only 2.5K training data, while improving its general video understanding capabilities.

한 줄 요약

Time-R1은 강화학습 기반의 후-트레이닝 프레임워크로, 2.5K 데이터만으로 LVLM의 TVG 성능을 SOTA로 향상시킨다.

핵심 기여도

**Time-R1**: 강화학습을 활용한 추론 유도형 후-트레이닝 프레임워크를 제안 (verifiable reward 사용).
**TimeRFT**: 데이터 효율적인 후-트레이닝 전략과 RL-친화적 데이터셋을 제시 (dynamic hard sampling, cold-start CoT).
**TVGBench**: 11가지 쿼리 유형을 포함한, LVLM 평가를 위한 소규모 그러나 포괄적인 벤치마크를 구성.
**성능**: 2.5K 데이터만으로 기존 SFT 기반 방법을 초과하며, Charades, ActivityNet 등 다운스트림 데이터셋에서 SOTA 달성.

핵심 아이디어

기존 TVG 접근법은 SFT를 통해 LVLM을 미세 조정하지만, 이는 자동 회귀 손실로 인해 합리적인 예측에도 과도한 패널티를 주어 일반화 능력을 저하시킨다. Time-R1은 강화학습(GRPO)을 도입하여, 직접적인 태스크 지표(IoU) 최적화를 통해 일반화 능력을 향상시킨다. 모델은 CoT를 생성한 후 시간 경계를 예측하며, 이 과정에서 tIoU 기반 보상 함수와 구조화된 템플릿 보상을 결합한다. Cold-start 접근법을 통해 hallucination을 억제하고, TimeRFT는 어려운 샘플을 점진적으로 학습하도록 설계되어 데이터 효율성을 높인다.

기술적 접근법

**Time-R1**: GRPO 기반 강화학습 프레임워크.
CoT 생성 후 시간 경계 예측.
보상 함수: tIoU 기반 보상 + 구조화된 템플릿 보상.
**TimeRFT**:
Dynamic hard sampling: 낮은 IoU 샘플을 다중 에포크 학습.
Cold-start: CoT 생성 시 비디오 캡션을 사용해 hallucination 억제.
**TVGBench**: 11가지 쿼리 유형, 비디오-쿼리 분포 균형.
**하이퍼파라미터**: GRPO에서 KL-divergence 정규화 항 β 사용.

주요 결과

**Charades**: mIoU 29.2 (SFT-LoRA: 25.9, SFT: 15.4).
**ActivityNet**: mIoU 29.2 (SFT-LoRA: 25.9, SFT: 15.4).
**VideoMME**: 정확도 54.2 (SFT-LoRA: 51.7, SFT: 53.0).
**TVGBench**: [email protected] 29.4, [email protected] 16.4 (Time-R1-7B, Multi-Epoch + tIoU + Sample Filtering).

의의 및 한계

Time-R1은 기존 SFT 방식보다 데이터 효율성이 높고, 일반화 능력을 유지하면서 TVG 성능을 향상시킨다. 특히, 강화학습을 통해 자동 회귀 손실의 단점을 극복하고, CoT 기반 추론을 유도함으로써 정확도와 안정성을 동시에 개선한 점이 학술적으로 의미가 크다. 그러나 RL 기반 학습은 보상 함수 설계에 민감하며, 보다 다양한 TVG 시나리오에서의 일반화 능력을 추가 실험으로 검증할 필요가 있다.

실용적 활용

Time-R1은 스마트 홈 어시스턴트, 온라인 플랫폼의 동영상 검색 시스템 등 실시간 영상 이해가 필요한 산업에 적용 가능하다. 또한, 대규모 비디오 QA 시스템 개발에도 활용될 수 있으며, 데이터가 제한된 환경에서도 높은 성능을 유지하는 LVLM 트레이닝 전략으로 활용 가능하다.