Video-Arena: A Scalable Agentic Video Benchmark for Spatiotemporal Capability

Understanding and tracking a dynamic world are fundamental to visual intelligence. Existing video benchmarks provide limited insight into whether models can maintain a coherent understanding of evolving world state. Building such a benchmark from real-world videos is challenging because the underlying world state is partially observable, making annotations hard to obtain. To close this gap, we introduce Video-Arena, a benchmark that turns competitive games into scalable, verifiable tests of how well models understand evolving world states from videos. Specifically, inspired by how humans understand dynamic events, we evaluate spatiotemporal world state understanding and tracking through three task categories: perceiving critical events, interpreting state updates, and tracking the resulting states. Our pipeline can generate videos and aligned reference labels from game records at scale. To keep evaluation affordable and reproducible, we curate a golden set of 180 tasks across 9 games and run evaluations under two protocols: native visual understanding and tool-assisted agentic analysis. The best-performing systems achieve F1 scores of and under the two protocols, respectively. The result highlights that native models struggle to perceive events reliably, while tool-assisted systems improve event recovery but still struggle to interpret state updates and track the resulting states consistently over time. Our project page is in https://videoarena-bench.github.io

한 줄 요약

Video-Arena는 경쟁 게임을 기반으로 동적 세계 상태를 추적하는 영상 기반 벤치마크를 제공한다.

핵심 기여도

인지적 모델링 기반으로 동적 세계 상태를 이해하고 추적하는 세 가지 태스크(T1: 이벤트 인식, T2: 상태 해석, T3: 상태 추적)를 설계.
게임 기록을 자동으로 영상과 라벨로 변환하는 확장 가능한 파이프라인 구축.
9개 게임에서 180개의 골든 세트를 기반으로 재현 가능한 평가 프로토콜(네이티브 시각 평가, 툴 지원 에이전트 분석)을 제시.
GPT-5.6-Sol 모델이 네이티브 시각 평가에서 F1 13.2, 툴 지원 평가에서 51.0을 달성하며, 이벤트 인식은 개선되나 상태 해석 및 추적 능력은 여전히 낮음.

핵심 아이디어

Video-Arena는 인간이 동적 이벤트를 이해하는 방식을 모방하여, 영상에서 시간-공간적 세계 상태를 추적하는 능력을 평가하는 새로운 벤치마크를 제안한다. 기존 영상 벤치마크는 단일 프레임 또는 서브타이틀에 의존하거나, 질문 유형이 모델의 사전 지식을 유도하는 경향이 있다. 이에 반해 Video-Arena는 게임 기록을 기반으로 자동 생성된 영상과 정확한 라벨을 사용하여, 모델이 실제 세계 상태를 추적하는 능력을 측정한다. 특히, T1, T2, T3 태스크는 모델이 이벤트를 인식하고, 상태 변화를 해석하며, 시간에 따라 상태를 추적하는 능력을 단계적으로 평가한다.

기술적 접근법

**세 가지 태스크**: T1(이벤트 인식), T2(상태 해석), T3(상태 추적)를 통해 동적 세계 상태를 평가.
**자동 생성 파이프라인**: 게임 기록을 기반으로 영상과 라벨을 생성. 게임 엔진 기반 결정론적 판정기 사용.
**평가 프로토콜**: 네이티브 시각 평가(모델이 직접 영상 분석)와 툴 지원 에이전트 평가(프레임 추출, 코드 실행 등 툴 활용).
**F1 스코어**: 시간 허용 오차 ±3초 내에서 라벨이 일치하는 경우에만 정답으로 인정.
**골든 세트**: 9개 게임(체스, 바둑, CS2 등)에서 180개의 태스크로 구성, 평균 영상 길이 24.3분.

주요 결과

GPT-5.6-Sol 모델은 네이티브 시각 평가에서 F1 13.2, 툴 지원 평가에서 51.0을 달성.
Claude-Opus-5.0은 네이티브 평가에서 7.2, 툴 지원 평가에서 13.2.
툴 지원 평가에서도 모델은 이벤트 인식은 개선되나, 상태 해석(T2)과 추적(T3) 능력은 여전히 낮음.
Open-source 모델(Qwen3.8-27B)은 네이티브 평가에서 2.4, 툴 지원 평가에서 4.7.
랜덤 기준 모델(Set-time Random Tuple)은 0.2~1.1 범위의 F1 성능을 보임.

의의 및 한계

Video-Arena는 기존 영상 벤치마크가 가지는 단점을 보완하며, 동적 세계 상태를 추적하는 능력을 정량적으로 평가할 수 있는 새로운 기준을 제시한다. 특히, 결정론적 판정기와 대규모 게임 기록을 활용한 자동 생성 파이프라인은 평가의 확장성과 재현성을 높인다. 그러나 9개 게임만을 기반으로 하므로, 게임 세계의 다변성과 현실 세계의 복잡성은 충분히 반영되지 못할 수 있다. 또한, 게임 상태는 결정론적 변수로 표현되지만, 실제 세계에서는 항상 그러하지 않아 한계가 존재한다.

실용적 활용

Video-Arena는 영상 기반 에이전트, 특히 게임 AI, 스포츠 분석, 자율 주행 시스템 등에서 동적 세계 상태를 추적하는 능력을 평가하는 데 활용될 수 있다. 또한, 툴 지원 평가 프로토콜은 실제 시스템에서 다양한 도구와의 상호작용을 고려한 평가를 가능하게 하며, 모델 개선 방향을 명확히 제시할 수 있다.