EarlyEval: Cheaper Agent Evaluation via Early Outcome Prediction

Evaluating LLM agents is essential for guiding their development, yet it has grown prohibitively expensive: a single pass of a frontier model over an agentic benchmark can cost hundreds to thousands of dollars, a price paid repeatedly across iterative development cycles. Prior efforts, centered on benchmark distillation, reduce the number of evaluation tasks but leave the cost of executing each retained task untouched. In this work, we introduce early outcome prediction, a complementary axis of efficiency that instead cuts cost within each task. Our key insight is that an agent's final outcome is often evident from its intermediate behavior well before execution completes. We instantiate this idea in EarlyEval, a lightweight framework that trains a pair of LightGBM success and failure classifiers over behavioral, textual, and reference-solution features, and halts an agent run the moment either classifier crosses a calibrated confidence threshold, adding negligible per-step overhead. Across three benchmarks, SWE-bench Verified, TerminalBench, and Toolathlon, EarlyEval can eliminate 13%-26% of agent steps and up to 44.1% input tokens and 29.4% output tokens at 89%-97% prediction accuracy, while perturbing per-agent resolve rates by only one to two percentage points on average.

한 줄 요약

EarlyEval은 LLM 에이전트 평가 비용을 절감하기 위해 중간 행동을 기반으로 조기 예측을 수행하는 경량 프레임워크이다.

핵심 기여도

LightGBM 기반 성공/실패 분류기로 에이전트 실행을 조기 중단함으로써 평가 비용을 절감.
SWE-bench Verified, TerminalBench, Toolathlon에서 13%–26%의 에이전트 스텝을 제거.
최대 44.1%의 입력 토큰과 29.4%의 출력 토큰을 절감하며 89%–97%의 예측 정확도 달성.
에이전트 해결률은 평균 1~2%포인트만 영향을 받음.

핵심 아이디어

기존 평가 방식은 벤치마크 축소를 통해 평가 태스크 수를 줄였으나, 각 태스크 실행 비용은 그대로 남아 있었다. EarlyEval은 이와 대조적으로, **각 태스크 내에서 실행 비용을 절감**하는 새로운 접근법을 제시한다. 연구팀은 에이전트의 최종 결과가 실행이 완료되기 전 중간 행동에서 이미 드러날 수 있다는 통찰을 바탕으로, **LightGBM 분류기를 사용해 성공/실패를 예측**하고, 예측 신뢰도가 임계값을 넘는 순간 실행을 중단하는 방식을 제안한다. 이는 행동적, 텍스트적, 참조 솔루션 특성을 기반으로 학습된다.

기술적 접근법

**LightGBM 성공/실패 분류기** 두 개를 학습.
입력 특성: 행동적 특성, 텍스트 특성, 참조 솔루션 특성.
분류기 신뢰도가 임계값을 넘으면 에이전트 실행을 즉시 중단.
각 단계당 오버헤드는 미미함.
사용된 벤치마크: SWE-bench Verified, TerminalBench, Toolathlon.

주요 결과

SWE-bench Verified, TerminalBench, Toolathlon에서 **89%–97%의 예측 정확도** 달성.
평균적으로 **13%–26%의 에이전트 스텝**을 제거.
최대 **44.1%의 입력 토큰**과 **29.4%의 출력 토큰** 절감.
에이전트 해결률은 평균 **1~2%포인트**만 변화.

의의 및 한계

EarlyEval은 LLM 에이전트 평가의 비용 효율성을 극대화하는 새로운 접근법으로, 반복적 개발 과정에서의 비용 절감에 기여한다. 특히, 기존 방법과 달리 **각 태스크 내 실행 비용을 직접 줄이는 방식**으로, 평가 시스템의 확장성과 유연성을 높인다. 그러나, 예측 정확도가 100%가 아니므로 **일부 경우 실행을 조기에 중단해 정확한 평가를 놓칠 수 있는 한계**가 있다.

실용적 활용

LLM 에이전트의 반복적 개발 및 최적화 과정에서 EarlyEval은 **비용 효율적인 평가 시스템 구축**에 활용될 수 있다. 특히, 대규모 벤치마크를 사용하는 연구 및 산업 현장에서 **실행 비용을 줄이며 빠른 피드백을 제공**할 수 있다.