AgentSWE: Can Coding Agents Build the Agent You Actually Want?

As the production of software passes into the hands of software itself, coding agents are increasingly commissioned to build agents fitted to their users' own workflows. This delegation carries a quiet assumption, that the delivered agent will faithfully serve the requirement it was built for, rather than merely appear to. No existing benchmark tests that assumption. We introduce AgentSWE, a benchmark for agent software engineering spanning three stages of the agent development lifecycle: Creation of a complete agent from a natural-language requirement, Editing of production agent codebases, and Optimization toward a measurable target. Each of its 25 tasks is framed as a commission rather than an exam: the builder iterates against a handful of illustrative cases, while acceptance exercises the frozen submission on held-out cases designed to span the full requirement, grading behavior against requirement-derived rubrics under hard pass/fail gates or, for Optimization, against the source benchmark's own objective. Evaluating a range of coding agents across models and harnesses, we find that none comes close to delivering what a requirement asks for: the gap between what a builder demonstrates and what it delivers is the norm, not the corner case. An accompanying empirical analysis of the failure trajectories identifies recurring failure modes, among them overfitting to the visible cases, hollow runtimes behind code that looks complete, and unsupported claims of completion, each a signal by which coding agents can learn to build the agents they are asked for.

한 줄 요약

AgentSWE는 코드 생성 에이전트가 실제 요구사항을 충족하는 에이전트를 생성하는 능력을 평가하는 벤치마크로, 생성-편집-최적화 3단계를 포함한다.

핵심 기여도

AgentSWE 벤치마크를 제안하여 코드 생성 에이전트가 요구사항을 충족하는지 평가 (25개 태스크, 3단계: Creation, Editing, Optimization).
기존 벤치마크와 달리 실제 요구사항에 기반한 평가 기준 (requirement-derived rubric)을 적용.
실험 결과, 최고 성능 모델인 Codex + GPT-5.6 Sol이 Creation 단계에서 평균 18.0, Editing 단계에서 18.3의 점수를 기록.
실패 패턴 분석을 통해 overfitting, hollow runtime, completion claim 오류 등의 반복적 문제를 밝힘.

핵심 아이디어

AgentSWE는 코드 생성 에이전트가 자연어 요구사항을 바탕으로 실제 동작하는 에이전트를 생성·편집·최적화하는 능력을 평가하는 새로운 벤치마크이다. 기존 연구는 코드 수정이나 기능 구현을 평가하는 데 초점을 맞추었으나, AgentSWE는 **에이전트 자체를 생성하는 과정**을 평가한다. 이는 단순히 코드가 작동하는지 여부를 넘어, **에이전트가 요구사항을 충족하는지**를 평가하는 데 중점을 둔다.

핵심 아이디어는 "commission" 개념을 도입한 점이다. 즉, 에이전트는 몇 개의 예시를 기반으로 개발되며, 최종 평가는 예시 외의 "held-out" 케이스에서 이루어진다. 이는 실제 개발 환경에 더 가까운 평가 방식이다. 평가 기준은 요구사항에서 유도된 rubric과 목표 기반 성능 (예: Optimization 단계의 source benchmark objective)을 결합하여, 단순한 코드 정확도가 아닌 **의도된 기능을 수행하는지**를 측정한다.

기술적 접근법

**Creation**: 자연어 요구사항으로부터 완전한 에이전트를 생성. 예시 작업은 GUI 자동화, 정리 수학 증명 등.
**Editing**: 기존 에이전트 코드베이스에 새로운 기능 추가 (예: OpenHands, Aider).
**Optimization**: 에이전트를 특정 목표 (예: 공개 리더보드)에 맞춰 최적화.
평가 시, **held-out 케이스**를 사용하여 개발 단계에서 보지 못한 상황에서의 성능을 평가.
**Codex, Claude Code, OpenCode, Pi** 등의 모델과 **GPT-5.6 Sol, GPT-5.5, DS-V4-Pro, DS-V4-Flash, GLM-5.3** 등의 하이퍼파라미터 조합을 실험에 활용.
평가 기준은 **requirement-derived rubric**과 **source benchmark objective**를 결합한 방식.

주요 결과

**Creation 단계**: 최고 성능 모델인 Codex + GPT-5.6 Sol이 평균 18.0, Codex + GPT-5.5는 3.2의 점수를 기록.
**Editing 단계**: Codex + GPT-5.6 Sol이 평균 18.3, Codex + GPT-5.5는 21.8의 점수를 기록.
**Optimization 단계**: 평균적으로 5% 미만의 목표 달성. 25개 실행 중 13개만 시작점보다 높은 점수를 기록.
**Held-out 케이스 평가**: 개발 단계에서 90점 이상을 기록한 Creation 실행 중, 평균 9.9점의 점수를 기록.
**PPTX 태스크**: 4개 개발 케이스에서 15.2 (±1.8)의 점수를 기록.

의의 및 한계

AgentSWE는 코드 생성 에이전트가 단순히 예시를 통과하는 것이 아니라, **실제 요구사항을 충족하는 에이전트를 생성하는 능력**을 평가하는 데 기여한다. 특히, 기존 벤치마크가 코드 수정이나 기능 구현에 초점을 맞춘 반면, AgentSWE는 **에이전트 자체를 생성하는 과정**을 평가하는 데 중점을 두어 학술적·실용적 가치가 있다.

그러나 한계도 존재한다. 첫째, 평가 기준이 요구사항에 기반한 rubric이기 때문에, **주관적 해석이 개입될 수 있다**. 둘째, 일부 실험 조건 (예: 개발 케이스 수, 프롬프트 전략)이 성능에 영향을 미치지만, **일관된 개선 방향이 명확하지 않다**. 셋째, 실험 대상 모델은 Codex, Claude Code 등 일부 모델에 제한되어 있어, **모델 간 비교의 일반화 가능성**이 제한된다.

실용적 활용

AgentSWE는 코드 생성 에이전트의 신뢰성 향상을 위한 학습 및 평가 기준으로 활용될 수 있다. 예를 들어, **소프트웨어 개발 팀이 에이전트를 자동 생성하는 시스템을 도입할 때**, AgentSWE를 사용하여 생성된 에이전트가 실제 요구사항을 충족하는지 검증할 수 있다. 또한, **AI 모델 개발자들이 코드 생성 모델의 훈련 데이터를 개선하거나, 평가 기준을 설계할 때** AgentSWE의 실패 패턴 분석을 참고할 수 있다.