Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs

Multimodal large language models (MLLMs) have become a prevailing paradigm for unified video perception. However, post-training on large multi-task datasets remains challenging, as existing reinforcement learning methods sample on-policy groups with few high-quality rollouts even with costly chain-of-thought (CoT) generation. In this paper, we study the sample efficiency and scalability of RL post-training for video MLLMs and introduce OraRL. We identify an overlooked role for annotations: Beyond scoring rollouts, each can enter its on-policy group as an oracle rollout, a direct positive optimization target. Direct oracle integration, however, is nontrivial: a high-reward oracle raises the group baseline and inverts otherwise positive policy advantages, a failure we term advantage inversion. At the core of OraRL is a decoupled advantage estimator: policy rollouts determine an oracle-free baseline, while the oracle-policy gap modulates both a directional gain and a separate detached oracle advantage. Sign-balanced pruning improves efficiency: by retaining only the oracle and the strongest rollouts of each sign, OraRL requires just 2.2x the step time of SFT, less than half the 4.9x required by GRPO with CoT. OraRL scales with model size and data, surpassing its backbone from 0.8B to 9B and GRPO up to 100k prompts. Without chain-of-thought, Video-ORA-9B decodes in 130 ms instead of 4,780 ms. Compared with the respective prior best models, it raises temporal mIoU from 62.5 to 66.0, tracking AO from 73.0 to 78.2, segmentation from 64.3 to 70.4, and the three-benchmark spatial-intelligence macro average from 51.0 to 56.1; on VSI-Bench, it scores 73.1 against 55.0 for GPT-5 and 55.1 for Gemini-3-Pro.

한 줄 요약

OraRL은 비디오 MLLM의 강화학습 후처리를 효율화하고 확장 가능한 새로운 프레임워크로, 어노테이션을 직접 오라클로 활용하여 성능을 66.0~78.2%까지 향상시킨다.

핵심 기여도

**어노테이션-롤아웃**(annotation-as-rollout) 기법 도입: CoT 없이 어노테이션을 직접 오라클로 사용하여 정확한 정량적 지도를 제공.
**어드밴티지 인버전**(advantage inversion) 문제 해결: 기존 오라클 통합 방식의 단점을 분리된 어드밴티지 추정기로 보완.
**2.2× 스텝 시간**의 효율성: SFT 대비 2.2배, GRPO-CoT 대비 4.9배보다 빠른 학습 속도.
**모델 확장성**: 0.8B에서 9B까지 성능이 51.8에서 66.2로 단조 증가하며, 100k 프롬프트까지 데이터 확장 가능.

핵심 아이디어

기존 강화학습(예: GRPO)은 CoT를 사용해 롤아웃을 생성하지만, 이는 비용이 크고 정확한 오라클이 부족한 문제를 야기한다. OraRL은 어노테이션 자체를 **오라클 롤아웃**(oracle rollout)으로 직렬화하여, CoT 없이도 정확한 정량적 지도를 제공한다. 이는 **task-independent**한 방식으로, 어노테이션이 모델의 응답 형식에 맞게 변환되어 학습 그룹에 추가된다.

그러나 기존 방식처럼 오라클을 포함한 그룹 평균 기반의 어드밴티지 계산은 **어드밴티지 인버전**(advantage inversion)을 유발한다. 즉, 높은 보상의 오라클이 기준선을 상승시키면서, 실제로는 좋은 롤아웃이 음의 어드밴티지로 평가되어 학습이 저해된다. OraRL은 이를 해결하기 위해 **분리된 어드밴티지 추정기**(decoupled advantage estimator)를 도입한다. 정책 롤아웃 기반의 기준선을 계산하고, 오라클-정책 간 차이를 **방향성 이득**(directional gain)과 **분리된 오라클 어드밴티지**(detached oracle advantage)로 분리 적용한다.

기술적 접근법

**OraRL 핵심 모듈**:
**분리된 어드밴티지 추정기**: 정책 롤아웃 기반 기준선 + 오라클-정책 간 차이로 어드밴티지 계산.
**부호 균형 가지치기**(sign-balanced pruning): 오라클과 각 부호의 최대 강도 롤아웃만 유지.
**재정규화 및 재조정**: 선택된 어드밴티지를 재정규화하여 업데이트 편향 방지.
**하이퍼파라미터**:
**스텝 시간**: 2.2× SFT, 4.9× GRPO-CoT 대비 훨씬 효율적.
**모델 규모**: 0.8B ~ 9B까지 확장 가능.
**데이터 예산**: 최대 100k 프롬프트까지 확장 가능.

주요 결과

**GOT-10k**(tracking AO): 73.0 → 78.2 (+5.2%)
**TimeLens**(temporal mIoU): 62.5 → 66.0 (+3.5%)
**RefCOCO**(segmentation cIoU): 64.3 → 70.4 (+6.1%)
**VSI-Bench**: 73.1 (GPT-5: 55.0, Gemini-3-Pro: 55.1)
**인퍼런스 속도**: CoT 없이 130ms (CoT 기반 4,780ms 대비 36.7× 빠름)
**모델 확장성**: 0.8B → 9B 시 macro average 51.8 → 66.2 (+14.4%)

의의 및 한계

OraRL은 CoT 없이도 정확한 오라클을 제공하며, 기존 GRPO 대비 2배 이상 빠른 학습 속도를 보인다. 특히, 어노테이션을 직접 롤아웃으로 활용하는 방식은 **task-independent**하며, 다양한 비디오 인식 작업(트래킹, 세그멘테이션, 시간 정렬 등)에서 일관된 성능 향상을 보인다. 또한, 0.8B에서 9B까지 모델 확장 시 성능이 단조 증가하며, 100k 프롬프트까지 데이터 확장성이 입증되었다.

하지만, 현재 구현은 **정량적 어노테이션**만을 가정하며, 불확실하거나 노이즈가 있는 어노테이션에 대한 평가가 이루어지지 않았다. 또한, 복잡한 추론이 필요한 공간 작업에서는 여전히 일부 프로퍼티 모델(예: GPT-5, Gemini-3-Pro)에 뒤처지는 것으로 나타났다.

실용적 활용

OraRL은 **비디오 인식**, **트래킹**, **세그멘테이션**, **공간-시간 지능** 등 다양한 비디오 MLLM 작업에 적용 가능하다. 특히, **실시간 인퍼런스**(130ms)가 필요한 산업(예: 자율주행, 보안 감시)에서 유용하며, **대규모 데이터셋**(100k 프롬프트)을 활용한 학습이 필요한 연구 분야에도 적합하다.