AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling

LLM judges are widely used to evaluate agentic tool-calling systems, yet their reliability on structured, dependency-driven workflows remains largely unexamined. We present AgentJudgeBench, the first benchmark to systematically study LLM-as-a-judge reliability for agentic tool-calling over workflow DAGs, as distinct from the broader LLM-as-a-judge task of open-ended text or preference evaluation. The benchmark comprises 3,808 instances spanning six DAG topologies and three difficulty tiers, evaluated with five generators (3B-70B open-weight models and GPT-5.4) and six judges (20B to frontier scale) under paired with- and without-ground-truth conditions. Judge alignment degrades monotonically with task difficulty, 1.5x faster without ground truth, and on hard queries without ground truth all six judges converge to a narrow 77-82% band regardless of scale, revealing a structural ceiling driven primarily by task difficulty, though its height is partly prompt-dependent for weaker generators, that model capacity alone cannot overcome. Ground-truth exposure is not uniformly beneficial: it reduces alignment for GPT-5.4 (1.5 pp) and Gemini-2.5-Pro (3.9 pp), consistent with over-anchoring. Among mitigation strategies, chain-of-thought reasoning and judge temperature both have negligible effect, while structured evaluation rubrics improve alignment by up to 6.5 pp but do not generalize uniformly across judge-generator pairs. With ground truth, QwQ-32B best matches the programmatic reference, while a human validation study identifies GPT-OSS-120B as the most human-aligned judge; without it, frontier judges lead only marginally within the shared ceiling. These results expose fundamental limitations of current LLM judges and yield practical guidelines for reliable evaluation in agentic systems.

한 줄 요약

AgentJudgeBench는 DAG 기반 툴 호출 시스템 평가를 위한 다단계 LLM 판정자 신뢰도 벤치마크로, 3,808개의 인스턴스와 6개의 DAG 구조를 포함한다.

핵심 기여도

AgentJudgeBench: 6개 DAG 토폴로지와 3단계 난이도를 갖는 3,808개 인스턴스를 포함한 첫 번째 벤치마크.
5개 생성기(3B–70B, GPT-5.4)와 6개 판정자(20B–프론티어)를 사용한 with- 및 without-ground-truth 조건 평가.
QwQ-32B가 with-GT 조건에서 프로그래밍 참조와 가장 유사한 성능, GPT-OSS-120B가 인간과 가장 일치.
구조화된 평가 체크리스트가 최대 6.5pp까지 정확도를 향상시키지만, 판정자-생성자 쌍에 따라 일반화되지 않음.

핵심 아이디어

AgentJudgeBench는 LLM이 툴 호출 시스템을 평가하는 신뢰도를 체계적으로 평가하기 위해 설계되었다. 기존의 텍스트 기반 평가와 달리, 이 연구는 DAG(Directed Acyclic Graph) 구조를 가진 의존성 기반 워크플로우에서의 평가 정확도를 중점적으로 다룬다. 툴 선택, 파라미터 구조, 시퀀스 정확도, 쿼리 커버리지의 4개 메트릭을 기반으로 평가하며, with- 및 without-ground-truth 조건을 비교한다. 특히, without-GT 조건에서는 모든 판정자가 77–82% 범위로 수렴하며, 이는 단순히 모델 규모가 아닌 작업 난이도에 의해 주도된다는 점이 밝혀졌다. 또한, GPT-5.4와 Gemini-2.5-Pro는 GT 노출 시 정확도가 오히려 감소하는 현상(over-anchoring)을 보였다.

기술적 접근법

**데이터셋**: 3,808개 인스턴스, 6개 DAG 토폴로지, 3단계 난이도.
**평가 프레임워크**: 4개 메트릭(툴 선택, 파라미터 구조, 시퀀스 정확도, 쿼리 커버리지)으로 평가.
**평가 조건**: with-GT와 without-GT 조건에서 5개 생성기(3B–70B, GPT-5.4)와 6개 판정자(20B–프론티어)로 평가.
**정확도 계산**: 프로그래밍 참조 벡터와 비교하여 정확도 계산 (Eq. 5a).
**LLM 판정자 프롬프트**: JSON 형식으로 4개 메트릭을 {0, 0.5, 1} 스케일로 평가, with-GT 조건에서는 참조 시퀀스 제공.

주요 결과

**without-GT 조건**: 모든 6개 판정자가 77–82% 범위로 수렴, 모델 규모와 무관.
**with-GT 조건**: QwQ-32B가 프로그래밍 참조와 가장 유사한 성능 (가장 높은 정확도).
**인간 정합성**: GPT-OSS-120B가 120개 샘플의 인간 검증에서 가장 높은 정합성.
**구조화된 평가 체크리스트**: 최대 6.5pp까지 정확도 향상.
**GPT-5.4**: GT 노출 시 1.5pp 감소, Gemini-2.5-Pro는 3.9pp 감소 (over-anchoring).

의의 및 한계

AgentJudgeBench는 LLM 판정자가 의존성 기반 워크플로우를 평가할 때의 한계를 명확히 드러내며, 실제 시스템 평가에 있어 구조화된 평가 체크리스트나 GT 노출 여부를 고려하는 실용적 가이드라인을 제공한다. 그러나 without-GT 조건에서의 수렴 현상은 단순히 모델 규모가 아닌 작업 난이도에 의해 주도되며, 이는 LLM 판정자 본질적 한계를 드러낸다. 또한, 체크리스트나 프롬프트 형식의 효과는 판정자-생성자 쌍에 따라 다르게 나타나므로, 일반화하기 어렵다는 한계가 있다.

실용적 활용

AgentJudgeBench는 자율 에이전트 시스템의 툴 호출 평가에 있어 LLM 판정자의 신뢰도를 측정하는 데 활용될 수 있다. 특히, with-GT 조건에서 QwQ-32B와 GPT-OSS-120B는 각각 프로그래밍 참조와 인간 정합성 측면에서 우수한 성능을 보여, 실제 시스템 평가 시 선택 기준으로 활용 가능하다. 또한, 평가 체크리스트나 GT 노출 여부를 조정함으로써 평가 정확도를 개선할 수 있다.