AgentVQA: A Unified Benchmark for Agentic Visual Understanding

Vision-language models (VLMs) can perform a broad range of tasks across diverse settings, yet their performance in agentic contexts remains poorly understood. Although online evaluations in simulators and real-world environments are essential for measuring interactive agent performance, they are costly and challenging to scale. Complementary offline VQA benchmarks can enable faster and more reliable comparisons across agentic domains, yet existing benchmarks remain limited and fragmented. To address this gap, we introduce AgentVQA, an offline benchmark for evaluating VLMs on realistic agentic scenarios across five agent domains: Web Agents, Robotics, Egocentric Videos, Games, and Spatial Planning. We build AgentVQA by manually selecting 1000 challenging, real-world agent examples from 23 source datasets and adapting them for reliable offline evaluation. The resulting benchmark preserves realistic scenarios from interactive environments across diverse domains, and its model rankings track those from corresponding online evaluations. Across the 22 evaluated models, the best achieves only 58.5% accuracy. Our cross-domain analysis shows that errors are driven primarily by failures to ground and maintain accurate representations of the current and evolving visual state, including localizing relevant UI elements, interpreting motion, tracking state changes over time, and inferring 3D spatial relationships, rather than by task misinterpretation or downstream logical reasoning.

한 줄 요약

AgentVQA는 5개 도메인에서 VLM의 에이전트형 시각 이해 능력을 평가하는 오프라인 벤치마크로, 최고 모델도 58.5% 정확도에 그친다.

핵심 기여도

AgentVQA: 5개 도메인(웹 에이전트, 로보틱스, 제1인칭 영상, 게임, 공간 계획)에서 VLM의 에이전트형 시각 이해를 평가하는 오프라인 벤치마크.
23개 데이터셋에서 1000개의 실제 에이전트 예제를 수작업으로 선별하여 오프라인 평가에 적합하게 조정.
22개 모델 평가 결과, 최고 정확도는 58.5%로, 특히 웹 에이전트 도메인에서 29%로 가장 낮음.
오류 원인은 주로 시각 상태의 정확한 인식 실패(예: UI 요소 위치, 움직임 해석, 시간에 따른 상태 추적, 3D 관계 추론).

핵심 아이디어

기존 VLM 평가가 주로 정적 이미지 기반으로 이루어지며, 에이전트형 상호작용 환경에서의 성능은 명확하지 않다. AgentVQA는 시뮬레이터나 실제 환경에서의 온라인 평가 대신, 실제 에이전트 시나리오를 반영한 오프라인 VQA 평가를 가능하게 한다. 이는 비용 효율적이고 확장 가능한 평가를 제공하며, 모델의 시각 상태 추적 능력과 공간/시간적 맥락 이해를 측정한다. 특히, UI 요소의 정확한 인식과 3D 공간 관계 추론 등이 핵심 평가 포인트이다.

기술적 접근법

**AgentVQA 데이터셋**: 23개 데이터셋에서 1000개의 실제 에이전트 예제를 수작업으로 선별.
**도메인**: Web Agents, Robotics, Egocentric Videos, Games, Spatial Planning.
**평가 지표**: 정확도(Accuracy) 기반.
**모델**: 22개 VLM (예: Gemini 3.7 Flash, GPT-5.6, Qwen3.7 Flash 등).
**결과 분석**: 도메인별 성능 차이, 모델 간 정확도 편차 분석.

주요 결과

**Gemini 3.7 Flash**: 58.5% 정확도로 최고 성능.
**Egocentric Videos**: 59% (Qwen3.7 Flash: 72.5%).
**Games**: 51.5% (Gemini 3.7 Flash: 70%).
**Web Agents**: 29% (가장 낮음).
**Spatial Planning**: 46%, **Robotics**: 38%.
**Games 도메인**: 23%~70% 범위로 가장 큰 성능 편차.
**모델 간 성능 차이**: Gemini 3.7 Flash는 Games에서 70%지만, Web Agents에서는 GPT-5.6-sol thinking-high에 밀림 (40.5% vs. 47%).

의의 및 한계

AgentVQA는 VLM의 에이전트형 시각 이해 능력을 체계적으로 평가할 수 있는 첫 번째 오프라인 벤치마크로, 모델 간 성능 차이와 도메인별 약점을 명확히 드러낸다. 특히, UI 요소 인식과 3D 공간 관계 추론 등이 핵심 도전 과제로 부각된다. 그러나, AgentVQA는 오프라인 평가 기반으로 실제 환경에서의 동작을 완전히 반영하지 못할 수 있으며, 일부 도메인에서 데이터셋의 제한성도 존재할 수 있다.

실용적 활용

AgentVQA는 로봇, 게임 AI, 웹 인터페이스 이해 등 다양한 에이전트 기반 시스템에서 VLM의 성능을 비교하고 개선 방향을 제시하는 데 활용될 수 있다. 특히, UI 요소 인식과 시간에 따른 시각 상태 추적 능력이 필요한 산업 분야에서 모델 선택과 개선에 중요한 기준이 될 수 있다.