VideoAgent: Long-form Video Understanding with Large Language Model as Agent

Long-form video understanding represents a significant challenge within computer vision, demanding a model capable of reasoning over long multi-modal sequences. Motivated by the human cognitive process for long-form video understanding, we emphasize interactive reasoning and planning over the ability to process lengthy visual inputs. We introduce a novel agent-based system, VideoAgent, that employs a large language model as a central agent to iteratively identify and compile crucial information to answer a question, with vision-language foundation models serving as tools to translate and retrieve visual information. Evaluated on the challenging EgoSchema and NExT-QA benchmarks, VideoAgent achieves 54.1% and 71.3% zero-shot accuracy with only 8.4 and 8.2 frames used on average. These results demonstrate superior effectiveness and efficiency of our method over the current state-of-the-art methods, highlighting the potential of agent-based approaches in advancing long-form video understanding.

한 줄 요약

VideoAgent는 대형 언어 모델을 에이전트로 활용해 장시간 동영상 이해를 효율적으로 수행하는 시스템이다.

핵심 기여도

대형 언어 모델(GPT-4)을 에이전트로 사용하여 장시간 동영상 이해 과정을 모방.
CLIP과 VLM을 도구로 활용해 시각 정보를 텍스트로 변환하고, 필요한 프레임을 반복적으로 선택.
EgoSchema와 NExT-QA 데이터셋에서 각각 54.1%와 71.3%의 zero-shot 정확도 달성.
평균 8.4개의 프레임만 사용해 기존 최고 성능 모델 LLoVi 대비 20배 적은 입력으로 동일 수준 성능 보임.

핵심 아이디어

VideoAgent는 인간이 장시간 동영상 이해 과정에서 사용하는 인터랙티브한 추론과 계획을 시뮬레이션한다. 인간은 전체 동영상을 즉시 처리하지 않고, 질문에 따라 필요한 정보를 반복적으로 탐색한다. 이 과정을 모방하여, VideoAgent는 LLM을 에이전트로 사용해 상태(state), 행동(action), 관찰(observation)의 순환 구조를 구축한다. LLM은 현재 정보가 충분한지 판단하고, 필요 시 CLIP을 사용해 관련 프레임을 검색하고 VLM을 통해 텍스트로 변환하여 상태를 업데이트한다. 이는 단순히 긴 시각 입력을 처리하는 방식이 아닌, 추론 능력과 반복적 탐색을 강조하는 새로운 접근법이다.

기술적 접근법

**에이전트**: GPT-4를 사용하여 상태 판단, 행동 결정, 관찰 처리를 수행.
**도구 모델**: CLIP을 사용해 프레임 검색, VLM을 사용해 프레임을 텍스트로 변환.
**프레임 선택 방식**: 질문에 따라 다단계 반복 선택(다운샘플링, 단일 반복 선택과 비교해 정확도 향상).
**입력 수준**: 평균 8.4개의 프레임만 사용해 기존 모델 대비 20배 적은 입력으로 동일 수준 성능 달성.
**최대 반복 횟수**: T로 제한되며, 각 반복에서 새로운 정보를 추가로 수집.

주요 결과

**EgoSchema**: 54.1% zero-shot 정확도 (LLoVi 대비 +3.8%)
**NExT-QA**: 71.3% zero-shot 정확도 (LLoVi 대비 +3.6%)
**프레임 사용량**: 평균 8.4개 (LLoVi 대비 20배 적음)
**반복 선택 효과**: 반복적 프레임 선택이 복잡한 동영상에서 정보 집약도를 높임.

의의 및 한계

VideoAgent는 장시간 동영상 이해에서 인간 인지 과정을 모방한 첫 번째 에이전트 기반 시스템으로, 추론 능력과 반복적 탐색을 강조함으로써 기존 시각 모델의 한계를 극복한다. 특히, CLIP과 VLM을 도구로 활용한 방식은 LLM이 시각 정보를 처리할 수 있도록 확장성을 제공하며, 장시간 동영상 처리 효율성 측면에서 혁신적이다. 그러나, 사용하는 LLM(GPT-4)이 비공개이며, 모델의 투명성과 재현 가능성에 대한 한계가 존재한다. 또한, CLIP과 VLM의 성능에 따라 전체 시스템 성능이 영향을 받을 수 있다.

실용적 활용

VideoAgent는 동영상 기반 QA 시스템, 영상 분석 자동화, 콘텐츠 요약 및 검색 등에 활용 가능하다. 특히, 사용자가 질문에 따라 필요한 정보만 탐색하는 방식은 대규모 영상 데이터 처리 시 에너지 효율성과 처리 속도를 동시에 개선할 수 있다. 연구적으로는 에이전트 기반 시스템과 LLM의 결합 방식을 탐색하는 데 중요한 사례가 될 수 있다.