EvalResearchBench: Can AI Agents Build Their Own Feedback for Recursive Self-Improvement?

Recursive self-improvement (RSI) relies on evaluation feedback to assess progress and guide further research, yet repeatedly running complex benchmarks is costly and slows iteration. Human experts reduce this cost by selecting benchmark subsets or designing compact suites. We ask whether AI agents can automate this design process and introduce EvalResearchBench (ERB), a benchmark for autonomous evaluation research. Given target materials, development references, candidate APIs, and fixed time and API budgets, an agent called the researcher selects or synthesizes tasks, implements graders, and revises them in pilot tests before freezing an executable evaluator for coding, co-work, and reasoning. We study 9 researchers and 13 candidate models and compare each frozen evaluator with 14 target benchmarks on score concordance and pairwise agreement. The best evaluators order about 75\% of candidate pairs as the targets do, below the 91\% ceiling set by disagreements among the targets. No researcher leads on every metric, and the best evaluator on development targets is not the best on sealed targets hidden from the researcher. A human-designed sample of public tasks remains a strong baseline, and the evaluator with the lowest recorded execution cost attains the highest pairwise agreement. Agents repair tasks and graders through pilot feedback, yet their evaluators can still truncate answers, exhaust the evaluation budget, or let a few questions dominate a domain score.

한 줄 요약

EvalResearchBench는 AI 에이전트가 자가 평가 시스템을 설계하는 능력을 평가하는 벤치마크로, 75%의 순위 일치율을 기록했으나 91%의 인간 간 불일치 상한선에는 미치지 못했다.

핵심 기여도

EvalResearchBench (ERB)라는 자율 평가 연구 벤치마크 도입.
9개 연구자 에이전트와 13개 후보 모델, 14개 타겟 벤치마크를 비교.
최고 평가기의 순위 일치율은 75%, 인간 간 불일치 상한선은 91%.
실행 비용이 가장 낮은 평가기가 가장 높은 PA(75%) 달성.

핵심 아이디어

기존 연구에서 AI는 주어진 평가 프로토콜 내에서 자가 개선을 수행했으나, 평가 설계 자체는 여전히 인간에 의존했다. EvalResearchBench는 AI 에이전트가 주어진 시간과 API 예산 내에서 평가 기준을 설계하고, 피드백을 통해 수정하는 과정을 독립적으로 수행할 수 있는 환경을 제공한다. 연구자는 타겟 자료, 개발 참조, 후보 API 등을 기반으로 작업을 선택하거나 합성하고, 점수 산정기(grader)를 구현한 후, 시범 평가(pilot test)를 통해 반복적으로 수정한 뒤 최종 평가기를 동결(freeze)한다. 이는 인간이 설계한 평가 시스템과 동일한 방식으로 후보 모델을 평가할 수 있는지를 평가하는 핵심 목표이다.

기술적 접근법

**연구자**(Researcher): Codex 또는 Claude Code 허네스 내의 모델.
**후보**(Candidate): 13개 오픈소스 및 프로퍼티어리 모델.
**타겟 벤치마크**(Target Benchmark): 코딩, 협업, 추론 분야의 14개 기존 평가.
**평가 지표**:
**Score**: Lin의 일치 상관계수 × 100.
**Pairwise Agreement (PA)**: 평가기가 타겟과 동일한 순위를 매긴 후보 쌍 비율.
**실험 예산**: 고정된 시간과 API 사용량.
**시범 평가**: 후보 응답, 비용, 참조와의 일치율을 관찰하며 작업, 점수 산정기, 가중치 등을 수정.

주요 결과

**PA 최고 성능**: 75% (타겟 간 불일치 상한선 91%에 미달).
**Score 최고 성능**: Astra (전체 Score 1위), Grok 4.7 (PA 1위).
**Random120**: 인간 설계한 공개 작업 샘플로, 여전히 강력한 베이스라인.
**실행 비용 최저 평가기**: 가장 높은 PA (75%) 달성.
**Fable 5.1**: 개발 타겟에서는 최고 Score였으나, 비공개 타겟에서는 성능 저하.

의의 및 한계

EvalResearchBench는 AI가 평가 설계를 자율적으로 수행하는 능력을 측정하는 첫 번째 시도로, 자가 개선 루프의 핵심 요소인 평가 설계 자동화의 가능성을 탐색한다. 그러나 최고 평가기조차 인간 간 불일치 상한선에 도달하지 못했으며, 일부 평가기는 답변을 자르거나 예산을 소진하거나 특정 질문에 과도하게 의존하는 문제가 있었다. 이는 AI가 인간 수준의 평가 설계 능력을 갖추기 위해서는 더 정교한 피드백 처리와 예산 관리가 필요함을 시사한다.

실용적 활용

EvalResearchBench는 AI 연구에서 반복적인 벤치마크 실행 비용을 줄이고, 자동화된 평가 설계를 가능하게 하므로, 연구 효율성 향상에 기여할 수 있다. 특히, 자가 개선 시스템을 구축하는 산업, 예를 들어 자율 학습 로봇, 지능형 추천 시스템, 또는 대규모 언어 모델의 지속적 개선에 활용 가능하다.