Confidence-Aware Tool Orchestration for Robust Video Understanding

Video reasoning language models implicitly assume that every input frame is equally reliable. This leads to what we term the Blind Trust Problem: under realistic perturbations such as motion blur, glare, or occlusion, frontier video reasoning models can suffer 15-30%p accuracy drops on real-world embodied benchmarks, while remaining unaware that their visual evidence has been degraded. To address this challenge, we propose Robust-TO, an agentic video understanding framework that explicitly integrates per-frame trustworthiness into every stage of reasoning. Robust-TO organizes heterogeneous visual perception tools under a unified evidence interface. Each tool receives a sub-query derived from the original question and a set of trustworthy frames selected by the reliability-relevance score. It returns evidence in a shared format: a concrete prediction (e.g., a bounding box, motion trajectory, recognized text, or action label), temporal grounding, and a calibrated reliability score. During reasoning, these calibrated scores guide evidence weighting in a three-tier synthesis process (high/medium/low) and define a confidence-cost GRPO reward that jointly optimizes correctness, evidence reliability, and efficiency. On two video reasoning benchmarks spanning eight tasks, Robust-TO achieves 56.4% average accuracy on clean inputs, surpassing the strongest open-source baseline by 10.6%p and outperforming Gemini-2.5-Pro (46.2%). Under five realistic corruption types, Robust-TO maintains 54.3% average accuracy, 5.8%p above the strongest open-source baseline, while exhibiting the smallest clean-to-corrupted accuracy drop among all compared methods.

한 줄 요약

Robust-TO는 신뢰도 기반 툴 활용로 영상 추론 성능을 향상시키는 에이전트 기반 프레임워크이다.

핵심 기여도

Blind Trust Problem을 정의하고, 15-30%p의 정확도 하락을 설명.
Robust-TO는 신뢰도-관련성 점수를 기반으로 신뢰할 수 있는 프레임을 선택.
세 단계 합성 과정과 confidence-cost GRPO 보상을 통해 정확도, 신뢰도, 효율성 최적화.
56.4%의 평균 정확도를 기록하며, Gemini-2.5-Pro 대비 10.2%p 높음.

핵심 아이디어

기존 영상 추론 모델은 모든 프레임이 동일하게 신뢰할 수 있다고 가정하지만, 실제로는 흐림, 번개, 가림 등으로 인해 정확도가 급격히 떨어진다. Robust-TO는 이 문제를 해결하기 위해 각 프레임의 신뢰도를 추론 과정에 통합한다. 신뢰도-관련성 점수를 사용해 신뢰할 수 있는 프레임만 선택하고, 이에 따라 툴이 생성하는 증거의 가중치를 조정한다. 이는 정확한 추론과 동시에 효율적인 툴 사용을 가능하게 한다.

기술적 접근법

Robust-TO는 신뢰도-관련성 점수를 사용해 신뢰할 수 있는 프레임을 선택.
세 단계 합성 과정(high/medium/low)을 통해 증거를 통합.
confidence-cost GRPO 보상 함수를 사용해 정확도, 신뢰도, 효율성 최적화.
다양한 툴(예: 바운딩 박스, 텍스트 인식, 행동 라벨 등)을 통일된 인터페이스로 관리.

주요 결과

Clean 입력에서 56.4%의 평균 정확도 달성 (Gemini-2.5-Pro 대비 +10.2%p).
5가지 현실적 오염 조건에서 54.3%의 평균 정확도 유지 (가장 높은 open-source baseline 대비 +5.8%p).
Clean-to-corrupted 정확도 하락폭이 비교 모델 중 가장 작음.

의의 및 한계

Robust-TO는 현실적 영상 노이즈에 대한 내성을 높이며, 신뢰도 기반 추론을 가능하게 한다. 특히, 다양한 툴을 통일된 인터페이스로 관리하는 방식은 영상 추론 연구에 새로운 접근을 제시한다. 그러나 모델이 사용하는 신뢰도 점수의 정확성은 외부 데이터에 의존하며, 모든 상황에서 최적의 결과를 보장하지는 않는다.

실용적 활용

Robust-TO는 자율 주행, 보안 감시, 영상 기반 질의 응답 등 현실적 환경에서 신뢰도가 중요한 영상 이해 시스템에 적용 가능하다. 특히, 노이즈가 많은 환경에서 정확한 판단이 필요한 산업 분야에 유용할 것으로 기대된다.