Counsel: A Meta-Evaluation Dataset for Agentic Tasks

As agentic systems tackle increasingly complex multi-step tasks, evaluating their trajectories presents a major bottleneck - human annotation of a single trajectory on popular agentic benchmarks can take hours, making it difficult to scale evaluations for measuring performance or curating training data. This has driven widespread reliance on automated approaches such as LLM-as-a-judge (LLMJ) to critique agents at the process and outcome-levels at scale, however, the soundness of LLMJ critiques often goes unmeasured. Here, we introduce Counsel, the first public dataset of meta-evaluations for agentic tasks. Counsel consists of process-level critiques from open-weight LLMJs on two agent benchmarks: tau-bench (customer support agents) and DA-Code (coding agents), and human meta-evaluations of these critiques. Human annotators label critiques on each flagged error as "spot on", "correct location but poor reasoning", or "should not have flagged", achieving reliable inter-annotator agreement (Krippendorff's alpha of 0.78). The resulting dataset stratifies LLMJ critiques by human alignment across both error location within a trajectory and reasoning quality, serving as valuable data to calibrate, improve, or train LLMJs for agents. Comparing open-weight judges, we find that more capable judge models and more reasoning effort both enabled improved human agreement, with the strongest judge reaching ~88% agreement on location and ~65% on reasoning. Counsel is generated using open-weight models and is permissively licensed for broad community use, which we hope will enable rigorous study and improved alignment of LLM-based evaluators for agentic systems.

한 줄 요약

Counsel은 대리 시스템의 과정 평가를 위한 첫 공개 메타 평가 데이터셋으로, LLM-as-a-Judge의 정확도와 설명력을 측정한다.

핵심 기여도

**Counsel 데이터셋**: τ-bench(고객 지원)와 DA-Code(코딩)에서 생성된 LLM-as-a-Judge의 과정 평가와 인간 메타 평가를 포함.
**인간 평가 신뢰도**: Krippendorff’s alpha 0.78의 높은 일관성.
**LLM 평가자 성능**: 최고 모델은 위치 정확도 88%, 설명 정확도 65% 달성.
**적용 가능성**: 평가자 훈련, 메타 평가자 훈련, 평가 품질 측정에 활용 가능.

핵심 아이디어

대리 시스템이 복잡한 다단계 작업을 수행하면서, 인간에 의한 평가가 시간 소요가 크고 확장이 어려워진다. 이에 따라 LLM-as-a-Judge(LLMJ)가 대체 평가 수단으로 사용되지만, 이 평가의 신뢰도는 측정되지 않았다. 본 연구는 LLMJ의 평가를 인간이 메타 평가하는 방식으로, 평가의 정확성과 설명력을 측정하는 데이터셋인 Counsel을 제시한다.

Counsel은 τ-bench와 DA-Code라는 두 대리 시스템 벤치마크에서 생성된 LLMJ의 과정 평가를 인간이 "spot on", "correct location but poor reasoning", "should not have flagged"로 라벨링한 데이터를 포함한다. 이는 평가자의 위치 식별 능력과 설명 품질을 구분하여 평가할 수 있는 구조를 제공한다.

기술적 접근법

**데이터셋 구성**: τ-bench(고객 지원), DA-Code(코딩)에서 생성된 대리 시스템의 트래젝토리.
**LLM 평가자**: open-weight LLMJ가 각 단계를 평가하고 오류 여부와 이유를 기록.
**인간 메타 평가**: 각 오류 플래그에 대해 세 가지 라벨로 평가.
**모델 성능 측정**: 위치 정확도(88%)와 설명 정확도(65%)로 평가.
**모델 비교**: 더 높은 능력과 더 많은 추론 노력이 인간과의 일치도를 높임.
**라이선스**: 퍼미시브 라이선스로 커뮤니티 활용 가능.

주요 결과

**τ-bench**: 인간 평가자 간 신뢰도 Krippendorff’s alpha 0.78.
**DA-Code**: LLMJ 최고 모델은 위치 정확도 88%, 설명 정확도 65% 달성.
**인간-LLMJ 일치도**: 더 높은 모델 능력과 추론 노력이 일치도 향상에 기여.
**데이터셋 활용**: 평가자 훈련, 메타 평가자 훈련, 평가 품질 측정에 사용 가능.

의의 및 한계

Counsel은 대리 시스템 평가의 신뢰도를 높이기 위한 첫 공개 메타 평가 데이터셋으로, LLMJ의 평가 품질을 정량적으로 측정할 수 있는 기반을 제공한다. 특히, 평가자의 위치 식별 능력과 설명 품질을 구분하여 평가할 수 있어, 평가 훈련 및 개선에 유용하다.

한편, τ-bench와 DA-Code에만 국한된 데이터셋이므로, 다른 벤치마크나 도메인으로의 확장성이 한계가 있을 수 있다. 또한, 인간 평가자 간 일치도는 높지만, 모든 오류를 포괄적으로 반영하지는 못할 수 있다.

실용적 활용

Counsel은 대리 시스템의 평가 훈련, 메타 평가자 개발, 평가 품질 측정에 활용 가능하다. 특히, 고객 지원, 소프트웨어 개발 등 복잡한 작업을 수행하는 대리 시스템의 평가 정확도를 향상시키는 데 기여할 수 있다. 퍼미시브 라이선스로 인해 연구자와 개발자들이 자유롭게 활용할 수 있다.