Bridging VideoQA and Video-Guided Agentic Tasks via Generalized Keyframe Extraction

Video understanding is a fundamental capability for multimodal intelligence, and recent Multimodal Large Language Models (MLLMs) have achieved remarkable performance on Video Question Answering (VideoQA) benchmarks. However, existing benchmarks primarily evaluate whether models can perceive shallow visual cues, while rarely examining whether MLLMs can learn deeper knowledge or procedural skills from video tutorials and generalize them to downstream long-horizon agentic tasks. To address this gap, we introduce VG-GUIBench (Video-Guided GUI Benchmark), a new benchmark designed to evaluate whether MLLM-based GUI agents can follow video tutorials to complete corresponding GUI interactive tasks. Furthermore, we observe that the performance of models on both VideoQA and video-guided agentic tasks critically depends on effective keyframe extraction. Based on this observation, we propose TASKER (Task-driven And Scene-aware Keyframe searchER), a keyframe extraction algorithm that jointly considers task relevance and scene dynamics to identify informative frames. Experimental results demonstrate that TASKER achieves significant performance improvements on both VideoQA and video-guided agentic task benchmarks, outperforming the best baseline by 2.0% on the EgoSchema fullset and 1.8% on the NExT-QA dataset, respectively. These results further highlight the potential of generalized keyframe extraction methods for video understanding tasks. Our code and data are available at https://github.com/VG-GUI-TASKER/VG-GUI-TASKER.

한 줄 요약

TASKER를 제안하여 VideoQA와 GUI 기반 에이전트 작업에서 키프레임 추출을 통합적으로 개선하고, VG-GUI-Bench라는 새로운 벤치마크를 제시한다.

핵심 기여도

VG-GUI-Bench: 영상 기반 GUI 작업을 평가하는 새로운 벤치마크를 제안.
TASKER: 작업 중심적이고 장면 인식적인 키프레임 추출 알고리즘을 제안.
EgoSchema fullset에서 2.0%, NExT-QA에서 1.8%의 성능 향상.
키프레임 추출의 효율성과 정확도를 동시에 개선.

핵심 아이디어

기존 VideoQA 벤치마크는 주로 단순 시각적 단서를 평가하며, MLLM이 영상에서 절차적 지식을 학습하고 이를 에이전트 작업에 전이할 수 있는지에 대한 평가가 부족하다. 이를 해결하기 위해, 저자는 VideoQA와 GUI 기반 에이전트 작업을 연결하는 두 단계적 분류 체계를 제안하고, VG-GUI-Bench라는 새로운 벤치마크를 설계했다. 이는 영상 튜토리얼을 기반으로 GUI 작업을 수행하는 능력을 평가한다. 또한, 저자는 두 작업 모두에서 키프레임 추출의 효과성이 성능에 큰 영향을 미친다는 점을 관찰하고, TASKER라는 알고리즘을 제안한다. TASKER는 작업 관련성과 장면 동적을 동시에 고려하여 정보가 풍부한 키프레임을 추출하며, 그래프 탐색 알고리즘을 기반으로 설계되었다.

기술적 접근법

**VG-GUI-Bench**: 영상 튜토리얼과 GUI 작업을 짝지어 절차적 지식 전이를 평가.
**TASKER**:
작업 관련성 추정(Task-driven relevance estimation)과 장면 인식적 시간 동적(Scene-aware temporal dynamics)을 결합.
키프레임 추출을 그래프 탐색 문제로 모델링.
MLLM을 사용해 비용 함수와 종료 신뢰도를 평가.
**데이터셋**: EgoSchema fullset, NExT-QA, VG-GUI-Bench.
**성능 수치**: EgoSchema fullset에서 63.1% (기존 최고 기준 대비 +2.0%), NExT-QA에서 77.4% (기존 최고 기준 대비 +1.8%).

주요 결과

EgoSchema fullset에서 TASKER는 63.1%의 정확도를 달성하여 기존 최고 기준 대비 2.0% 개선.
NExT-QA에서 77.4%의 평균 정확도를 달성하여 기존 최고 기준 대비 1.8% 개선.
키프레임 수는 기존 방법 대비 감소하면서도 정확도 유지.
TASKER는 VideoQA와 GUI 기반 에이전트 작업 모두에서 일관된 성능 향상.

의의 및 한계

TASKER는 VideoQA와 GUI 기반 에이전트 작업에서 키프레임 추출의 공통 한계를 해결하며, MLLM이 영상에서 절차적 지식을 추출하고 전이하는 능력을 평가하는 새로운 벤치마크인 VG-GUI-Bench를 통해 학술적·실용적 가치를 제공한다. 특히, 키프레임 추출의 효율성과 정확도를 동시에 개선함으로써, 훈련 없이도 성능-효율성 트레이드오프를 실현한다. 그러나 TASKER는 MLLM의 품질에 의존하며, 복잡한 장면이나 다중 작업 환경에서는 한계가 있을 수 있다. 또한, VG-GUI-Bench는 GUI 작업에 특화되어 있어, 다른 형태의 에이전트 작업에는 적용이 제한적일 수 있다.

실용적 활용

TASKER는 영상 기반 학습 시스템, 자동화된 GUI 작업, 영상 내 절차적 지식 추출 등에 활용 가능하다. 예를 들어, 소프트웨어 사용법 튜토리얼 영상에서 핵심 단계를 추출해 자동화된 GUI 작업을 수행하거나, 교육용 영상에서 핵심 학습 포인트를 추출하는 데 사용할 수 있다.