PACE: A Proxy for Agentic Capability Evaluation

Evaluating LLM agents on benchmarks like SWE-Bench and GAIA can be expensive, time-consuming, and requires complex infrastructure. A single evaluation can cost thousands of dollars and take days to complete. In contrast, non-agentic LLM benchmarks that test individual capabilities (e.g., reasoning, code generation) are fast and cheap to run. In this paper, we investigate whether performance on expensive agentic benchmarks can be accurately predicted by the performance on a small, carefully selected subset of atomic evaluation instances. We introduce PACE, a framework that constructs proxy benchmarks by selecting instances from existing non-agentic evaluations whose aggregate scores most reliably predict model performances on agentic benchmarks. Given a pool of candidate instances spanning atomic capabilities, PACE fits a regression that maps a model's scores on a compact subset of source instances to its score on the target agentic benchmark. The subset itself is curated by combining two complementary instance-selection strategies, target-relevance local selection and globally informative global selection. We apply PACE to the 4 target agentic benchmarks in this paper, which yields PACE-Bench, the concrete proxy benchmark that we evaluate in the paper. Experiments across 14 models, 4 agentic benchmarks, and 19 non-agentic benchmarks show that PACE-Bench predicts agentic scores with leave-one-out cross-validation (LOOCV) mean absolute error (MAE) under 4%, Spearman correlation above 0.80, and pairwise model-ranking accuracy around 85%, all at much less than 1% of the full agentic evaluation cost. We further analyze the selected proxy instances, revealing which skills each agentic benchmark uniquely demands. PACE enables practitioners to obtain reliable estimates of agentic performance during model development, selection, and routing, without the overhead of full agent evaluation.

한 줄 요약

PACE는 비에이전트 벤치마크의 일부 인스턴스를 선택해 에이전트 성능을 저비용으로 예측하는 프레임워크로, 4% 미만의 MAE와 85%의 모델 순위 정확도를 달성한다.

핵심 기여도

PACE 프레임워크를 제안하여, 비에이전트 벤치마크의 100개 인스턴스로 에이전트 성능을 예측함.
4개의 에이전트 벤치마크에서 PACE-Bench의 LOOCV MAE는 3.80%, Spearman 상관계수 0.81, 모델 순위 정확도 85% 달성.
선택된 인스턴스를 통해 각 에이전트 벤치마크가 요구하는 핵심 능력을 해석적으로 분석함.
전체 에이전트 평가 대비 100배 저비용으로 예측 가능함.

핵심 아이디어

PACE는 비에이전트 벤치마크에서 선택된 소규모 인스턴스 집합을 사용해 에이전트 성능을 예측하는 프레임워크이다. 기존 연구는 단일 벤치마크 내 인스턴스를 줄이는 방식을 사용했지만, PACE는 비에이전트 벤치마크에서 인스턴스를 선택해 에이전트 성능을 예측하는 새로운 접근법이다. 이는 에이전트 평가의 높은 비용과 복잡성을 줄이는 데 기여한다. PACE는 두 가지 인스턴스 선택 전략을 결합한다: 타겟 관련성 기반의 로컬 선택(랭크 상관)과 전역 정보 기반의 글로벌 선택(SVD leverage). 이 두 신호는 학습된 가중치로 조합되어, 각 에이전트 벤치마크에 맞는 최적의 인스턴스 집합을 생성한다.

기술적 접근법

**PACE 프레임워크**: 비에이전트 인스턴스 풀에서 에이전트 성능을 예측하는 회귀 모델을 학습.
**인스턴스 선택 전략**:
로컬 선택: 타겟 라벨과의 랭크 상관 계수를 기준으로 인스턴스 선택.
글로벌 선택: 소스 행렬의 SVD leverage를 기준으로 인스턴스 선택.
**회귀 모델**: 최소제곱 회귀를 사용해 소스 인스턴스 점수를 타겟 벤치마크 점수로 매핑.
**부트스트랩 재표본 추출**: 라벨 노이즈에 대한 회귀 가중치 안정화.
**LOOCV 평가 프로토콜**: 14개 모델 중 하나를 제외하고 학습, 예측 후 평가 반복.

주요 결과

**4개 에이전트 벤치마크 (GAIA, SWE-Bench Multimodal, SWE-Bench Verified, SWT-Bench)**에서 PACE-Bench의 예측 성능:
LOOCV MAE: 3.80%
Spearman 상관계수: 0.81
모델 순위 정확도: 85%
**비용 절감**: 전체 에이전트 평가 대비 100배 저비용.
**예측 정확도**: 100개 인스턴스로도 높은 예측 성능 달성.
**예측 일반화**: 학습 모델 외의 새로운 모델에도 잘 일반화됨.

의의 및 한계

PACE는 에이전트 평가의 높은 비용과 복잡성을 해결하는 실용적 접근법으로, 모델 개발 및 선택 단계에서 효율적인 평가 도구로 활용 가능하다. 특히, PACE는 비용 대비 높은 예측 정확도를 제공하며, 선택된 인스턴스를 통해 에이전트 벤치마크가 요구하는 핵심 능력을 해석적으로 파악할 수 있다. 그러나 PACE의 예측 정확도는 교정 모델이 미래 모델과 유사할 경우에만 유지되며, 새로운 아키텍처나 학습 패러다임의 모델에는 오차가 증가할 수 있다. 따라서 교정 모델 집합은 주기적으로 갱신되어야 한다.

실용적 활용

PACE는 모델 개발 단계에서 후보 모델을 저비용으로 순위 매기거나, 훈련 체크포인트를 더 자주 평가하는 데 활용 가능하다. 또한, 비용이 높은 에이전트 평가를 실행하기 전에 모델이 경쟁력 있는지 사전에 판단하는 데 사용할 수 있다. 이는 연구자와 엔지니어가 에이전트 성능을 빠르고 효율적으로 평가할 수 있도록 지원한다.