Less from More: Reinforcing Sparse Video Reasoning from Dense References

Video-language models commonly assume that more temporal observations lead to more reliable reasoning. We question this assumption and argue that the key challenge is not merely processing more video frames efficiently, but learning to reason reliably under limited temporal evidence. We propose SAVER, a dense-to-sparse post-training framework that uses dense video views as training-time references for sparse-frame inference. During reinforcement post-training, paired dense and sparse views are optimized with grounding rewards and a reliability-gated reference reward, encouraging sparse view predictions to preserve task-relevant temporal evidence. Notably, SAVER is trained only on 1,250 randomly sampled temporal grounding examples, without using any video question answering annotations. Across three temporal grounding benchmarks and six video question-answering benchmarks, SAVER consistently improves performance across frame budgets. In particular, SAVER can match or surpass dense-frame Qwen3.5 baselines while using substantially fewer frames. These results show that temporal grounding can serve as an effective evidence-localization proxy for learning sparse video reasoning that transfers to broader video understanding tasks.

한 줄 요약

SAVER는 1,250개의 타임라인 접착 예시만으로 희소 프레임에서도 신뢰성 있는 영상 추론을 학습하는 강화 학습 기반 프레임워크이다.

핵심 기여도

**SAVER**라는 희소 프레임 추론을 위한 강화 학습 기반 **밀집-희소 후학습 프레임워크**를 제안.
**1,250개의 타임라인 접착(Time-R1) 예시**만으로 학습하며, **비디오 QA 어노테이션 없이도** 성능 향상.
**0.1 fps에서 Qwen3.5-2B 2.0 fps 모델과 유사한 정확도** 달성.
**3개의 타임라인 접착 벤치마크**와 **6개의 비디오 QA 벤치마크**에서 일관된 성능 향상.

핵심 아이디어

기존 영상-언어 모델은 더 많은 프레임이 더 정확한 추론을 가능하게 한다고 가정하지만, 이 연구는 핵심 문제는 **프레임 수를 줄이지 않고도 신뢰성 있는 추론을 학습하는 것**임을 주장한다. SAVER는 **밀집 프레임을 훈련 시 참조**로 활용해 희소 프레임에서도 **시간적 증거를 보존**하도록 강화 학습을 적용한다. 특히, **접착 보상**(grounding reward)과 **신뢰도 게이트 참조 보상**(reliability-gated reference reward)을 결합해 희소 프레임 예측의 정확도를 높인다. 이는 단순히 프레임 수를 줄이는 것이 아니라, **제한된 시간적 증거에서도 학습을 안정화**하는 새로운 접근법이다.

기술적 접근법

**모델**: Qwen3.5 기반, 0.8B, 2B, 4B 세 가지 규모 사용.
**훈련 데이터**: Time-R1에서 무작위로 1,250개의 타임라인 접착 예시만 사용.
**훈련 방식**: **밀집-희소 쌍 프레임**을 생성하고, **접착 보상**과 **참조 보상**(계수 1.0)을 결합한 강화 학습.
**희소 프레임 보상 계수**: 2.0로 설정, 희소 프레임의 신뢰도 강화.
**배치 크기**: 0.8B(64), 2B(64), 4B(128)로 설정.
**훈련 시간**: 각 모델당 약 4~13시간, A100 GPU 16~32대 사용.

주요 결과

**Charades-STA, ActivityNet, NExT-GQA** 등 3개 타임라인 접착 벤치마크에서 성능 향상.
**VideoMME, MVBench, LongVideoBench, MMVU, VideoMMMU, MVP** 등 6개 비디오 QA 벤치마크에서 일관된 개선.
**0.1 fps에서 SAVER-2B**가 Qwen3.5-2B 2.0 fps 모델과 유사한 정확도 달성.
**0.1 fps에서 평균 비디오 QA 정확도 50.8%**, 타임라인 접착 mIoU 30.0% 달성.
**희소 프레임 보상 계수 λs=2**가 가장 효과적임을 실험적으로 검증.

의의 및 한계

SAVER는 **제한된 프레임 예산에서도 신뢰성 있는 영상 추론**을 가능하게 하며, 특히 **타임라인 접착을 기반으로 한 희소 프레임 학습 전략**이 비디오 QA 등 다른 작업으로도 전이 가능하다는 점에서 의의가 있다. 또한, **프레임 선택이나 테스트 시 최적화 없이도 희소 입력 프로토콜을 유지**함으로써 실용성도 높인다. 그러나 **1,250개의 소규모 데이터만으로 학습**한다는 점에서 일반화 능력에 한계가 있을 수 있으며, **다양한 비디오 유형에 대한 평가가 부족**하다는 점도 한계로 지적된다.

실용적 활용

SAVER는 **스트리밍 영상, 모바일 어시스턴트, 로봇, 감시 시스템, 장시간 영상 검색** 등에서 **저연산, 저지연 환경에서의 영상 추론**에 유용하게 활용될 수 있다. 특히, **프레임 수를 줄이면서도 정확도를 유지**하는 특성으로, **에너지 효율적인 영상 처리 시스템** 개발에 기여할 수 있다.