HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness?

As agents move from research prototypes to deployed tools, their capability increasingly depends on model-external execution infrastructure, commonly termed the agent harness. Changing this harness while holding model weights fixed can substantially alter task performance. Current agent evaluations typically report downstream performance under a chosen harness, leaving a model's ability to develop the harness itself comparatively underexplored. We introduce HarnessDev, a benchmark that shifts the unit of evaluation from task outputs to runnable infrastructure. HarnessDev covers two stages. In Creation, the agent starts from a minimal seed and a small number of cases, then builds a complete execution system. In Evolution, it starts from its own created harness and iteratively revises it using downstream execution feedback, with the goal of improving benchmark performance. We then evaluate each constructed harness on capability (task success on held-out benchmarks) and efficiency (execution-token cost). The reported Creation results cover six creator LLMs, four domains, and five downstream benchmarks totaling 2,207 unique downstream instances, with hidden evaluation tasks withheld from development. We find that generated harnesses remain substantially behind mature human-engineered references on code and on search and research, while matching or exceeding the selected references on writing and machine-learning experimentation, with large variation in execution cost. Evolution produces some performance gains, but they are unstable and transfer only partially to held-out tasks. Experiments with a fixed runtime model further show that the gains depend strongly on the model executing the harness, indicating limited transfer across models.

한 줄 요약

HarnessDev는 LLM이 실행 인프라를 생성하고 개선하는 능력을 평가하는 벤치마크로, 생성 및 진화 단계에서 성능과 효율성을 측정한다.

핵심 기여도

**HarnessDev**라는 새로운 벤치마크를 제안하여, LLM이 실행 인프라를 생성하고 개선하는 능력을 평가.
생성 단계에서 6개의 생성자 LLM, 4개 도메인, 5개의 다운스트림 벤치마크, 2,207개의 인스턴스를 사용한 실험 수행.
진화 단계에서 생성된 인프라가 일부 성능 향상을 보이지만, 이는 불안정하며 새로운 작업으로의 전이가 제한적임.
실행 모델에 따라 성능 차이가 크며, 모델 간 전이 가능성은 낮음.

핵심 아이디어

기존 연구는 주어진 실행 인프라(하네스) 내에서 모델 성능을 평가하는 데 초점을 맞추었으나, **HarnessDev**는 모델이 자체적으로 실행 인프라를 생성하고 개선하는 능력을 평가하는 새로운 평가 프레임워크를 제안한다. 이는 실제 산업적 배포 환경에서 모델이 스스로 시스템을 발전시키는 능력을 측정하는 데 중요하다.

**Creation** 단계에서는 최소한의 시드만 주어지고, LLM이 완전한 실행 시스템을 구축하도록 유도한다. **Evolution** 단계에서는 생성된 하네스를 기반으로, 다운스트림 실행 피드백을 활용해 반복적으로 개선하며 성능 향상을 추구한다. 이는 모델이 자신의 실행 기반을 수정함으로써 미래 작업에서의 관찰, 계획, 복구 방식을 바꾸는 구조적 변화를 요구한다.

기술적 접근법

**HarnessDev**는 **Creation**과 **Evolution**의 두 단계로 구성됨.
**Creation** 단계에서 LLM은 최소한의 시드와 몇 개의 예시를 기반으로 실행 인프라를 생성.
**Evolution** 단계에서는 생성된 하네스를 기반으로, 다운스트림 피드백을 반복적으로 활용해 개선.
평가 지표는 **Capability**(다운스트림 작업 성공률)와 **Efficiency**(실행 토큰 비용)로 구분됨.
실험은 6개의 생성자 LLM, 4개 도메인, 5개의 다운스트림 벤치마크(총 2,207개 인스턴스)에서 수행됨.
**SWE-Pro**와 **Terminal-Bench**는 공식 평가에 사용되며, **Gemini** 모델을 고정한 실험도 수행됨.

주요 결과

생성된 하네스는 **코드** 및 **검색/연구** 분야에서는 인간 설계 하네스보다 현저히 낮은 성능을 보임.
**작성**(writing) 및 **머신러닝 실험**(machine-learning experimentation)에서는 선택된 인간 설계 하네스와 유사하거나 더 높은 성능을 나타냄.
**Evolution** 단계에서 일부 성능 향상이 관찰되나, 이는 불안정하며 새로운 작업으로의 전이가 제한적임.
**SWE-Pro** 테스트에서 생성된 하네스는 630개 인스턴스의 히든 세트에서 평가됨.
실행 모델에 따라 성능 차이가 크며, 모델 간 전이 가능성은 낮음.

의의 및 한계

**HarnessDev**는 LLM이 실행 인프라를 생성하고 유지하는 능력을 평가하는 첫 번째 벤치마크로, 모델이 스스로 시스템을 발전시키는 능력을 측정하는 데 중요한 기초를 제공한다. 이는 산업적 배포 환경에서 모델의 지속적 개선 능력을 평가하는 데 기여할 수 있다.

그러나 생성된 하네스는 코드 및 검색 분야에서는 인간 설계 하네스에 비해 현저히 낮은 성능을 보이며, 실행 비용의 큰 변동성도 나타낸다. 또한, **Evolution** 단계에서의 성능 향상은 불안정하며, 새로운 작업으로의 전이가 제한적이라는 점에서 한계가 있다. 모델 간 전이 가능성도 낮아, 특정 모델에 의존하는 경향이 강하다.

실용적 활용

**HarnessDev**는 코드 작성 보조 도구, 데이터 분석 코파일럿, 브라우저 워커, 연구 파이프라인 등 다양한 산업적 도구 개발에 적용 가능하다. 특히, 모델이 스스로 실행 인프라를 생성하고 개선하는 능력을 평가하여, 지속적인 시스템 개선이 필요한 환경에서 활용할 수 있다.