Rethinking the Evaluation of Harness Evolution for Agents

We revisit the evaluation of automatic harness evolution for LLM agents. Existing harness evolution methods use unit test cases to search for harness configurations and then report final performance on the same public benchmark. This protocol raises two fundamental concerns. First, harness evolution is itself an iterative search procedure that repeatedly evaluates and revises candidate harnesses using task feedback. As in agentic test-time scaling, it should therefore be compared with simple task-level search baselines under matched feedback and inference budgets to determine whether its gains arise from improved harness design or from additional search alone. Second, because the search and the final evaluation share the same benchmark, the reported gains risk overfitting to that specific task set. To address these concerns, we conduct an extensive evaluation comparing harness evolution with simple test-time scaling and discovery baselines under comparable feedback and inference budgets, and also evaluate evolved harnesses on held-out tasks to assess whether the discovered improvements generalize. Experiments on Terminal-Bench 2.1 with GPT-5.4 and Claude Opus 4.6 show that automatic harness evolution does not consistently outperform simple test-time scaling methods and exhibits limited generalization. Our results raise important questions about the effectiveness of automatic harness evolution and highlight the need for fairer evaluation protocols and benchmarks for automatic harness design. Our code is available at https://github.com/rethinking-harness-evolution.

한 줄 요약

LLM 에이전트의 하버스 진화 평가 프로토콜을 재검토하고, 기존 평가 방식의 한계를 드러냄.

핵심 기여도

기존 하버스 진화 평가가 단순 테스트-타임 스케일링 기반 대비 성능을 과대평가할 수 있음을 지적.
GPT-5.4, Claude Opus 4.6 모델에서 Terminal-Bench 2.1 데이터셋을 사용한 실험에서 하버스 진화가 일관된 성능 개선을 보이지 않음.
테스트-타임 스케일링 기반 대비 제한된 일반화 능력을 보임.
평가 프로토콜에서 피드백과 추론 예산을 동일하게 설정한 비교 실험을 수행.

핵심 아이디어

기존 연구는 단위 테스트 케이스를 사용해 하버스 구성을 탐색하고, 동일한 공개 벤치마크에서 최종 성능을 보고하는 방식을 채택했다. 그러나 이는 두 가지 주요 문제를 야기한다. 첫째, 하버스 진화는 자체적으로 반복적 탐색 과정을 수행하므로, 단순한 테스트-타임 스케일링 기반과 동일한 피드백 및 추론 예산 하에서 비교해야 한다. 둘째, 탐색과 최종 평가가 동일한 벤치마크를 사용하면 과적합 위험이 있다. 따라서 본 연구는 테스트-타임 스케일링 및 발견 기반과 비교하면서, 동일한 예산 하에서 하버스 진화의 효과를 평가하고, 일반화 능력을 검증하기 위해 허들-아웃 태스크를 사용했다.

기술적 접근법

**비교 대상**: 하버스 진화, 병렬 샘플링, 순차적 정제, 테스트-타임 발견 기반.
**실험 환경**: Terminal-Bench 2.1 데이터셋, GPT-5.4, Claude Opus 4.6 모델.
**예산 설정**: 각 방법이 받는 피드백 유형, 추론 컴퓨트 할당, 태스크 트레이젝토리 수정 여부를 명확히 규정한 통제된 예산 프로토콜.
**실험 설정**: 단위 테스트 케이스 없이, 단위 테스트 케이스 사용, 탐색과 평가 태스크가 분리된 세 가지 설정에서 실험 수행.

주요 결과

**단위 테스트 케이스 없이 실험한 경우**: 하버스 진화는 Claude Opus 4.6, GPT-5.4, GPT-5.4 mini 모델에서 평균적으로 단순 테스트-타임 스케일링 기반보다 성능이 낮음.
**동일한 태스크셋 사용 시**: 하버스 진화의 성능 개선은 실제 하버스 설계 개선이 아닌 평가 인스턴스에 대한 적응일 수 있음.
**일관된 성능 개선**: 하버스 진화가 테스트-타임 스케일링 기반보다 일관된 성능 개선을 보이지 않음.
**일반화 능력**: 탐색과 평가 태스크가 분리된 경우, 하버스 진화의 성능 개선이 제한됨.

의의 및 한계

본 연구는 하버스 진화의 평가 프로토콜이 단순한 테스트-타임 스케일링 기반과 비교되지 않아 진정한 성능 개선 여부를 판단하기 어렵다는 점을 지적한다. 또한, 동일한 벤치마크를 사용하면 과적합 위험이 있으며, 이는 하버스 설계의 일반화 능력을 평가하는 데 부정확할 수 있다. 그러나 본 연구는 특정 모델(GPT-5.4, Claude Opus 4.6)과 데이터셋(Terminal-Bench 2.1)에 국한되었으며, 다른 환경에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

LLM 에이전트의 하버스 설계 자동화를 추구하는 연구자 및 개발자에게, 평가 프로토콜의 공정성과 일반화 능력 검증의 중요성을 강조할 수 있다. 특히, 테스트-타임 스케일링 기반과 비교하는 방식은 하버스 진화의 진정한 효과를 평가하는 데 유용할 수 있다.