Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution

LLM agents are increasingly used to solve real-world problems, and their effectiveness depends on both the underlying models and the harnesses that support their operation. However, most existing benchmarks focus on model capabilities and overall agent performance, with limited attention to the evaluation of agent harnesses. To address this gap, we introduce TraceTrial-Bench, which organizes harness reliability into seven components covering context, execution, governance, lifecycle, observability, tools, and verification. We construct 95 expert-level, mechanism-oriented tasks with executable or state-based ground truth to support semantically equivalent comparisons while preserving the native behavior of each harness. We design a Trajectory Tracing (TT) module to capture agent execution traces and introduce a two-layer evaluation framework that separately assesses agent performance and harness reliability. In addition, we design a Multi-source Evidence Acquisition (MEA) module to provide evidence from the agent context, harness, and execution environment for LLM-based evaluation, and develop a Failure Attribution (FA) module that uses explicit mechanism chains to support attribution at the run level. Across 4 harnesses, 9 models, and 95 tasks, our evaluation of 3,420 runs yields macro-averaged harness scores ranging from 59.8% to 72.0%, while 31.1% of runs achieve task success despite failing at least one harness criterion. TraceTrial-Bench provides an auditable and reproducible foundation for comparing agent harnesses, diagnosing their failures, and studying how harness design interacts with model behavior.

한 줄 요약

TraceTrial-Bench는 AI 에이전트 하네스 신뢰성을 7개 성분으로 분류하고 95개의 전문가 수준 태스크로 평가하는 벤치마크를 제시한다.

핵심 기여도

TraceTrial-Bench를 제안하여 하네스 신뢰성을 7개 성분(context, execution, governance, lifecycle, observability, tools, verification)으로 구조화.
95개의 실행 가능 또는 상태 기반 지도 정답을 갖는 전문가 수준 태스크를 구성.
Trajectory Tracing(TT) 모듈과 Multi-source Evidence Acquisition(MEA) 모듈, Failure Attribution(FA) 모듈을 설계하여 하네스 신뢰성과 실패 원인을 분리 평가.
4개 하네스, 9개 모델, 95개 태스크를 기반으로 3,420개 실행을 평가하여 하네스 점수 59.8%~72.0% 범위를 보여.

핵심 아이디어

기존 벤치마크는 모델 성능에 집중하며, 하네스 신뢰성 평가를 간과했다. TraceTrial-Bench는 하네스 자체를 평가 대상으로 삼아, 실행 추적(Trace IR)과 외부 환경 상태를 기반으로 하네스 신뢰성을 7개 성분으로 분류한다. 이는 단순한 작업 성공 여부가 아닌, 하네스 내부 메커니즘의 신뢰도를 측정한다. TT 모듈은 실행 흐름을 Trace IR로 재구성하며, MEA 모듈은 컨텍스트, 툴, 실행 환경의 증거를 종합한다. FA 모듈은 실패 원인을 메커니즘 체인을 통해 추적한다. 이는 기존 평가가 숨기는 하네스 실패를 드러내는 핵심 통찰이다.

기술적 접근법

**Trajectory Tracing (TT) 모듈**: 실행 기록을 Trace Intermediate Representation(Trace IR)로 재구성.
**Multi-source Evidence Acquisition (MEA) 모듈**: 컨텍스트, 툴, 실행 환경의 증거를 종합.
**Failure Attribution (FA) 모듈**: 실패 원인을 메커니즘 체인을 통해 추적.
**두 단계 평가 프레임워크**: 작업 성능과 하네스 신뢰성을 분리 평가.
**95개 태스크**: 실행 가능 또는 상태 기반 지도 정답을 포함.
**4개 하네스, 9개 모델, 3,420개 실행**: 평가 대상.

주요 결과

4개 하네스의 **하네스 점수**는 **59.8%에서 72.0%** 범위.
**31.1%의 실행**이 하네스 기준 실패에도 불구하고 **작업 성공**.
**Agent 레이어 평균 점수 72.9%**, **Harness 레이어 평균 점수 67.9%**.
**1,351개 실행**(39.5%)이 모든 Agent 기준 충족, **286개 실행**(8.4%)이 모든 기준 충족.

의의 및 한계

TraceTrial-Bench는 AI 에이전트 하네스 평가의 기초를 제공하며, 하네스 설계와 모델 행동 간 상호작용을 연구할 수 있는 기회를 열어준다. 특히, 작업 성공과 하네스 신뢰성 간 차이를 드러내는 점에서 학술적·실용적 가치가 있다. 그러나 본 연구는 4개 하네스와 9개 모델에 국한되었으며, 더 다양한 환경에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 실패 원인 추적은 증거 검토에 의존하므로 자동화 수준은 제한적이다.

실용적 활용

TraceTrial-Bench는 AI 에이전트 개발자들이 하네스 신뢰성을 체계적으로 평가하고, 실패 원인을 정확히 진단하는 데 활용할 수 있다. 특히, 보안, 의료, 금융 등 하네스 신뢰성이 중요한 분야에서 모델과 하네스의 상호작용을 분석하는 데 유용하다.