A^2E : An End-to-End Agent Auditing Engine

With the rapid advancement of large language models (LLMs), harnesses have become essential infrastructure for deploying agents across a wide range of domains. The fast-evolving harness ecosystem has also made rigorous capability evaluation increasingly important. However, efficiently building an end-to-end, systematic, and comprehensive evaluation pipeline remains a significant challenge. To address this challenge, we introduce A^2E (Agent Auditing Engine), an end-to-end evaluation engine designed for agent harnesses. A^2E leverages our newly proposed Agent Task Protocol (ATP) to enable the rapid integration of evaluation tasks with different harnesses. Through an automatically instrumented Monitor, it captures and generates standardized execution traces during experiments. In the Evaluation stage, A^2E systematically assesses harness capabilities using a suite of multidimensional metrics. Compared with correctness alone, these metrics provide a more fine-grained characterization of differences among harnesses in execution efficiency, tool use, task planning, and error recovery. Experiments conducted with A^2E further reveal that model-harness combinations exhibit substantial performance variation across different types of tasks, and that no single combination consistently outperforms all others across every task. These findings not only demonstrate the necessity of systematic evaluation but also provide useful guidance for the co-evolving of models and harnesses. Our code is available at https://github.com/datamllab/A2E.

한 줄 요약

A²E는 대규모 언어 모델 기반 에이전트의 시스템적 평가를 위한 엔드투엔드 평가 엔진으로, ATP 프로토콜과 모니터링, 다차원 메트릭을 통해 다양한 헤이서스를 통합적으로 평가한다.

핵심 기여도

**A²E 엔진**을 제안하여, 다양한 에이전트 헤이서스와 모델의 통합적 평가를 가능하게 함.
**ATP 프로토콜**을 통해 벤치마크와 헤이서스 간의 빠른 통합을 지원.
**모니터 레이어**를 통해 실행 트레이스를 자동으로 수집하고 표준화.
**다차원 메트릭**(예: 실행 효율, 툴 사용, 오류 복구 등)을 도입하여 단순 정확도 기반 평가의 한계를 극복.

핵심 아이디어

A²E는 기존 평가 프레임워크가 헤이서스와 벤치마크 간의 통합에 어려움을 겪는 문제를 해결하기 위해 설계되었다. 기존 시스템은 헤이서스별 어댑터나 API 프록시를 사용하여 통합이 복잡하고 유지보수가 어려웠다. A²E는 **ATP 프로토콜**을 도입하여 벤치마크와 헤이서스를 독립적으로 구성할 수 있도록 하여, 새로운 헤이서스나 벤치마크를 추가할 때 최소한의 코드 변경만으로 통합이 가능하다. 또한, **모니터 레이어**는 OpenInference 기반으로 실행 트레이스를 자동으로 수집하여, 헤이서스의 실행 과정을 세부적으로 분석할 수 있도록 한다. 평가 단계에서는 **LifeCycle-Aligned Evaluation**을 통해 각 실행 단계에 맞는 메트릭을 적용하여, 단순 정확도가 아닌 실행 효율, 툴 사용, 오류 복구 등 다양한 차원에서 헤이서스를 평가한다.

기술적 접근법

**Task Layer**: ATP 프로토콜을 기반으로 벤치마크와 헤이서스를 독립적으로 구성.
**Monitor Layer**: OpenInference와 OpenTelemetry를 활용한 실행 트레이스 자동 수집.
**Evaluation Layer**: LifeCycle-Aligned Evaluation을 통해 실행 단계별 메트릭 적용.
**Rule-based Evaluation**: 정확도, 성공률, 토큰 사용량, 비용 등 결정적 메트릭 계산.
**LLM-as-judge Evaluation**: 최종 결과 품질, 추론 품질, 툴 사용 품질 등 정성적 평가 수행.
**Storage Layer**: 평가 결과와 트레이스를 데이터베이스에 저장하여 재사용 및 비교 가능.

주요 결과

**GSM8K** 데이터셋에서 **LangGraph** 헤이서스는 **1.00** 성능을 보이며 가장 높은 정확도를 기록.
**SWE-Bench-Pro** 데이터셋에서 모든 헤이서스가 **0.00** 성능을 보여, 특정 벤치마크에서는 헤이서스의 효과가 제한적임을 드러냄.
**MMLU-Pro** 데이터셋에서 **AutoGenA** 헤이서스가 **1.00** 성능을 기록하며, 다른 헤이서스 대비 +0.20~+0.40의 성능 개선을 보임.
**τ-bench** 데이터셋에서 **LlamaIndex** 헤이서스가 **0.20** 성능을 기록하며, 다른 헤이서스 대비 +0.20~+0.40의 개선을 보임.
**모델-헤이서스 조합**은 특정 벤치마크에서 우수한 성능을 보이지만, 다른 벤치마크에서는 저조한 성능을 보임. 예를 들어, **DeepSeek-V4-Pro** 모델은 **CrewAI** 헤이서스와 함께 **τ³-bench**에서 **0.40** 성능을 보이지만, **Smolagents** 헤이서스와 함께는 **0.00** 성능을 보임.

의의 및 한계

A²E는 기존 평가 프레임워크의 단점을 보완하여, 다양한 헤이서스와 모델의 통합적 평가를 가능하게 한다. 특히, **ATP 프로토콜**을 통해 벤치마크와 헤이서스 간의 통합을 단순화하고, **LifeCycle-Aligned Evaluation**을 통해 실행 과정을 세부적으로 평가함으로써, 단순 정확도 기반 평가의 한계를 극복한다. 또한, **트레이스 저장 및 분석**을 통해 실험 결과를 재현하고 비교할 수 있어, 연구 및 개발에 유용한 도구가 된다. 그러나, A²E는 특정 헤이서스나 모델에 최적화된 설정을 제공하지 않으며, **모델-헤이서스 조합의 최적화 전략**은 여전히 개별적으로 탐색해야 한다는 한계가 있다.

실용적 활용

A²E는 대규모 언어 모델 기반 에이전트 시스템의 평가 및 개선에 활용될 수 있다. 특히, **모델-헤이서스 조합의 성능 분석**, **실행 트레이스 기반의 디버깅**, **다양한 벤치마크에서의 비교 평가** 등에 유용하다. 연구자나 엔지니어는 A²E를 통해 **실험 재현성**, **성능 분석**, **최적 헤이서스 선택**을 지원받을 수 있다.