AgentAtlas: Beyond Outcome Leaderboards for LLM Agents

Large language model agents now act on codebases, browsers, operating systems, calendars, files, and tool ecosystems, but the benchmarks used to evaluate them are fragmented: each emphasizes a different unit of measurement (final task success, tool-call validity, repeated-pass consistency, trajectory safety, or attack robustness). A line of 2024-2025 work has converged on the diagnosis that a single accuracy column is no longer the right unit of comparison for deployable agents. AgentAtlas extends this line of work with four components: (i) a six-state control-decision taxonomy (Act / Ask / Refuse / Stop / Confirm / Recover); (ii) a nine-category trajectory-failure taxonomy with two orthogonal hierarchical labels (primary_error_source, impact); (iii) a taxonomy-aware vs. taxonomy-blind methodology that measures how much of a model's apparent capability comes from the supervision in the prompt; and (iv) a benchmark-coverage audit mapping fifteen agent benchmarks against six behavioral axes. To demonstrate the methodology we run a small fixed eight-model set (1,342 generated items, four frontier closed and four open-weight) under both prompt modes. Removing the explicit label menu drops every model's trajectory accuracy by 14-40 pp to a tight 0.54-0.62 floor regardless of family, and no single model wins on all three of control accuracy, trajectory diagnosis, and tool-context utility retention. We treat the synthetic run as a measurement-protocol demonstration, not a benchmark release.

한 줄 요약

**[LLM 에이전트 평가 / 행동 분류 체계]** AgentAtlas는 6-state control taxonomy·9-category trajectory failure taxonomy·taxonomy-aware/blind 방법론·15 벤치마크 coverage audit 제공, label menu 제거 시 모든 모델 trajectory accuracy 14~40pp 하락(0.54~0.62 floor)·단일 승자 모델 없음.

핵심 기여도

LLM 에이전트가 코드·브라우저·OS·캘린더·파일·도구 생태계에 작용하지만 평가 벤치마크가 분리(최종 성공률·tool-call 유효성·반복 일관성·trajectory 안전성·공격 강건성)되어 있음 진단.
2024-2025 연구가 단일 accuracy column이 더 이상 적절한 비교 단위가 아니라는 진단으로 수렴.
AgentAtlas의 4 컴포넌트 — (i) 6-state control taxonomy(Act/Ask/Refuse/Stop/Confirm/Recover), (ii) 9-category trajectory-failure taxonomy(primary_error_source·impact 2 hierarchy), (iii) taxonomy-aware vs blind 방법론, (iv) 15 벤치마크 × 6 행동 축 coverage audit.
8 모델(frontier closed·open-weight 각 4개)·1,342 item으로 prompt mode 비교 시연.

핵심 아이디어

LLM 에이전트의 진정한 capability 측정은 단일 accuracy로 불가능하며, 행동 분류 체계와 prompt의 supervision 영향을 분리하는 taxonomy-aware/blind 비교가 supervision-leak 없는 평가의 필요조건이다.

기술적 접근법

**방법론**: AgentAtlas — 4-component 평가 방법론.
**핵심 기법**: (1) 6-state control taxonomy, (2) 9-category trajectory failure taxonomy(primary_error_source × impact 2 hierarchy), (3) Taxonomy-aware vs blind prompt 모드로 supervision 영향 측정, (4) 15 벤치마크의 6 행동 축 매핑 coverage audit, (5) 8 fixed model·1,342 generated item·두 prompt mode로 측정 시연.

주요 결과

Explicit label menu 제거 시 모든 모델의 trajectory accuracy 14~40pp 하락.
모델 family 관계없이 0.54~0.62 floor에 수렴.
단일 모델이 control accuracy·trajectory diagnosis·tool-context utility retention 3 축 모두 승리 못함.
1,342 item synthetic run은 벤치마크 release가 아닌 측정 프로토콜 시연.

의의 및 한계

**의의**: 에이전트 평가의 단일 accuracy 패러다임 명시적 거부, supervision-leak 진단 방법론, 행동 축 기반 벤치마크 갭 분석, 9-failure taxonomy로 진단적 평가 가능. **한계**: 측정 프로토콜 시연이라 정식 벤치마크 release 아님, 8 모델·1,342 item 규모 제한, taxonomy 보편성·완전성은 후속 검증.

실용적 활용

LLM 에이전트 개발의 진단적 평가.
벤치마크 설계의 coverage audit.
Production 에이전트의 행동·실패 모드 모니터링.