Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

As agentic systems continue to evolve and are widely deployed in real-world scenarios, there is a growing demand to faithfully evaluate their capabilities. However, current benchmarks are typically built on popular applications with relatively simple tasks and focus on a narrow set of capabilities while overlooking broader dimensions, resulting in saturated performance on modern agents and failing to probe their limitations. To this end, we introduce GauntletBench, a web-based benchmark for evaluating agent generalisation in challenging scenarios, focusing on three underexplored capabilities (temporal perception, graphical understanding, and 3D reasoning), across five less-covered professional applications (Video Editor, Workflow Builder, 3D Modeller, Flight Analyser, and Circuit Designer), each with 20 vision-intensive tasks (100 in total). Our benchmark provides a modular pipeline that comprises an environment compatible with both open- and closed-source agent frameworks, a controlled web-based application, a well-structured task suite, and an automated evaluation engine with diverse metrics. Contrary to widespread expectations, our empirical results reveal that frontier agentic systems remain far from achieving human-level performance. Even the state-of-the-art agent achieves only a 19.1% success rate on our GauntletBench, highlighting the limitations in these overlooked capabilities and generalisation. By comparison, non-expert human annotators achieve over 80% success on our challenging yet feasible tasks, revealing the substantial gap between current agent capabilities and those required for complex real-world scenarios.

한 줄 요약

GauntletBench를 통해 현대 에이전트 시스템의 일반화 능력을 새로운 관점에서 평가한다.

핵심 기여도

GauntletBench라는 웹 기반 벤치마크를 제안 (100개의 시각 집중형 태스크 포함).
3가지 미개척 능력 (시간 인지, 그래픽 이해, 3D 추론)을 평가 대상으로 설정.
5개의 전문 분야 (비디오 편집, 워크플로우 생성, 3D 모델링 등)에서 태스크를 구성.
최신 에이전트의 성공률은 19.1%에 불과하며, 인간은 80% 이상 성공.

핵심 아이디어

기존 에이전트 평가 벤치마크는 단순한 작업과 제한된 능력에만 집중하여, 실제 세계의 복잡한 상황을 반영하지 못한다. 이에 따라 GauntletBench는 시간 인지, 그래픽 이해, 3D 추론과 같은 핵심 능력을 평가하는 새로운 벤치마크를 제안한다. 특히, 비디오 편집, 3D 모델링, 회로 설계 등 전문 분야에서 시각 집중형 작업을 통해 에이전트의 일반화 능력을 체계적으로 평가한다. 이는 기존 평가 시스템이 포착하지 못한 한계를 드러내는 데 목적이 있다.

기술적 접근법

**GauntletBench**: 5개의 전문 애플리케이션 (Video Editor, Workflow Builder 등)에 걸쳐 100개의 태스크 구성.
**모듈식 파이프라인**: 오픈소스 및 클로즈드소스 에이전트 모두 호환 가능한 환경 제공.
**자동 평가 엔진**: 다양한 평가 지표를 포함한 자동화된 평가 시스템 구축.
**웹 기반 애플리케이션**: 제어 가능한 환경에서 일관된 평가 조건 유지.

주요 결과

GauntletBench에서 최신 에이전트의 성공률은 19.1%로, 인간 대비 60% 이상 낮음.
인간 참여자의 성공률은 80% 이상 (비전문가 기준).
3D 추론, 시간 인지 등 미평가 능력에서 현저한 성능 저하 관찰.

의의 및 한계

GauntletBench는 기존 평가 벤치마크가 포착하지 못한 에이전트의 한계를 명확히 드러내며, 실제 세계 적용 가능성에 대한 새로운 기준을 제시한다. 그러나 본 연구는 인간 성능을 기준으로 하며, 에이전트의 학습 과정이나 데이터셋의 편향성에 대한 분석은 명시되지 않음. 또한, 평가 태스크는 시각 집중형에만 한정되어 있어, 다른 유형의 능력은 평가되지 않았다.

실용적 활용

GauntletBench는 에이전트의 전문 분야 적용 능력을 평가하는 데 활용 가능하며, 비디오 편집, 3D 모델링, 회로 설계 등 산업 현장에서의 에이전트 도입을 위한 기준으로 사용될 수 있다. 또한, 연구자들이 일반화 능력 향상을 위한 알고리즘 개발에 활용할 수 있다.