Beyond Static Leaderboards: Predictive Validity for the Evaluation of LLM Agents

Agent benchmarks are growing fast, but no single benchmark touches more than four or five of the dimensions that deployment exposes. This paper aggregates the largest coordinated deep-dive of one MCP-based industrial-agent benchmark to date: fourteen parallel implementation studies covering new asset classes (including a multi-modal visual extension), alternative orchestrations, retrieval strategies, reasoning modes, infrastructure optimizations, and evaluation-methodology probes. Consolidating those studies with seven prior agent benchmarks, we argue that aggregate-score leaderboards systematically underspecify deployed-agent evaluation. Rankings derived from aggregate scores do not transfer to out-of-distribution settings; recent public-to-hidden competition retrospectives provide direct empirical evidence of this rank instability. We propose ranking configurations by predictive validity, the correlation between in-sample and out-of-sample rank, rather than in-sample mean, and report a twelve-tier measurement apparatus that exposes the deployment-relevant dimensions HELM and its agent-era successors collapse. The position is operationalized through three falsifiable out-of-distribution criteria with explicit thresholds; existing evidence partly supports it but is too thin to confirm. We close with a pre-registered pilot design and a field-level vision for what the next generation of agentic benchmarks should report.

한 줄 요약

LLM 에이전트 평가에서 예측 유효도 기반 순위 산정이 기존 리더보드 방식보다 더 신뢰할 수 있음을 제시한다.

핵심 기여도

MCP 기반 에이전트 벤치마크에 대한 14개 병렬 구현 연구를 종합적으로 분석.
기존 리더보드 순위는 out-of-distribution 설정으로 전이되지 않음 (예: 실행 트랙 Spearman 상관계수 ρ = −0.13, n=13).
예측 유효도(predictive validity)를 기준으로 12단계 측정 장치를 제안.
PHMForge 벤치마크에서 도메인 도구 제거 시 성능이 80.8% → 25%로 급락하는 실험 결과 제시.

핵심 아이디어

기존 에이전트 평가 방식은 단일 점수 기반 리더보드로 구성되어 있으며, 이는 실제 배포 환경에서의 성능을 제대로 반영하지 못한다. 본 연구는 예측 유효도, 즉 in-sample과 out-of-sample 순위 간 상관관계를 기준으로 에이전트를 평가하는 새로운 접근법을 제안한다. 기존 HELM과 그 후계 벤치마크는 orchestration, multi-turn artifact reuse, tool-call hygiene 등 에이전트 고유의 평가 차원을 충분히 반영하지 못한다. MCP 기반 에이전트 연구에서 도메인 도구 제거, 텍스트-RAG 대체, 크로스-장비 전이 실험을 통해 기존 평가 지표가 배포 환경의 핵심 요소를 간과하고 있음을 입증한다.

기술적 접근법

MCP 기반 에이전트 벤치마크를 기반으로 14개 병렬 구현 연구를 수행.
PHMForge: 8개 산업 자산 클래스, 39개 알고리즘 기반 MCP 도구, 99개 SME 작성 예측 시나리오.
ReAct 및 Claude Code를 사용한 plan-execute 기반 대체 구현.
텍스트-RAG 대체 실험, 크로스-장비 전이 실험, 도메인 도구 제거 실험을 통해 평가 차원을 검증.
Krippendorff α = 0.61로 LLM-as-judge의 신뢰도가 인간 간 신뢰도(α ∈ [0.74, 0.82])보다 낮음.

주요 결과

실행 트랙에서 공개 리더보드와 숨겨진 평가 간 Spearman 상관계수 ρ = −0.13 (n=13).
PHMForge에서 도메인 도구 제거 시 성능이 80.8% → 25%로 급락.
크로스-장비 전이 실험에서 베어링(84.1%) 대비 모터(42.7%) 성능 41%포인트 하락.
텍스트-RAG 대체 실험에서 리튬이온 배터리 클래스에서 pass-all-3 성능이 100% → 20%로 감소.

의의 및 한계

본 연구는 에이전트 평가의 핵심 차원을 파악하고, 배포 환경에서의 예측력을 반영하는 새로운 평가 기준을 제시한다. 기존 리더보드는 orchestration, 도구 사용, 자산 종류, 쿼리 형식 등 배포 관련 요소를 반영하지 못함을 입증하며, 예측 유효도 기준이 실용적 평가에 더 적합함을 주장한다. 그러나 제안된 기준은 아직 충분한 실증적 검증이 부족하며, 향후 더 많은 실험과 데이터가 필요하다.

실용적 활용

본 연구는 산업 자산 운영 및 유지보수 분야에서 에이전트 성능 평가에 적용 가능하며, 도메인 특화 도구와 쿼리 형식을 고려한 평가 시스템 설계에 기여할 수 있다. 특히, 배포 환경의 예측력을 반영한 평가 기준은 에이전트 기반 시스템의 신뢰도 향상에 기여할 수 있다.