SWE-Duel: Towards a Self-Scaling Arena for Coding Agents

Static coding benchmarks are fixed at release. Over time their tasks leak into training data, and stronger agents eventually saturate them. We argue that a benchmark should instead aim to be self-scaling: its tasks and oracles are created at evaluation time, so no content exists in advance to leak, and its difficulty is set by the participating agents rather than fixed at release. We introduce SWE-Duel, an arena in which two coding agents evaluate each other over mirrored Red-Blue turns. In each turn, the Red agent works on a real repository across three context-isolated sessions. It proposes and implements a new feature with feature tests, then embeds a subtle bug in that feature along with sealed bug-triggering tests. The resulting pull request is admitted only if (1) it passes the feature tests and the repository's existing tests while failing exactly the bug tests, and (2) a fresh session of the same agent can repair the bug blind, which rules out unsolvable tasks. The Blue agent then reviews the pull request without being told a bug exists. It wins only if its revision passes all three test suites, and then the two agents swap roles. We run a tournament among 11 model-harness participants on 15 repositories in five languages for 1,500 turns. The leaders win in different ways. GPT-5.5 with Codex CLI ranks first as the strongest solver, repairing 98.3% of the defects it reviews. Claude Opus 4.8 with mini-swe-agent ranks second as the strongest task author, with a 27.3% Red win rate. Finally, within one model family, tasks written by the newest version defeat a fixed-reference solver far more often than those of older versions (42.9% vs. 4.0%), giving preliminary evidence that task difficulty scales with task authoring capability.

한 줄 요약

SWE-Duel은 코딩 에이전트 간 상호 평가를 통해 스스로 확장하는 벤치마크를 구현한 시스템으로, 1,500회 대결에서 GPT-5.5가 98.3%의 결함 수리 성능을 보였다.

핵심 기여도

SWE-Duel이라는 **자체 확장형**(self-scaling) 벤치마크 프레임워크를 제안.
**Red-Blue 대결 방식**을 도입하여, Red 에이전트가 새로운 기능과 결함을 생성하고 Blue 에이전트가 이를 수정하는 방식으로 평가.
11개 (모델, 허네스) 쌍을 대상으로 1,500회 대결을 진행, GPT-5.5(Codex CLI)가 98.3%의 결함 수정 성능을 기록.
Claude Opus 4.8(mini-swe-agent)는 Red 에이전트로 27.3%의 승률을 달성하며 가장 높은 **작업 생성 능력**을 보임.

핵심 아이디어

기존 정적 벤치마크는 시간이 지남에 따라 훈련 데이터에 누출되고, 강력한 에이전트가 곧 포화 상태에 도달한다. 이를 해결하기 위해 SWE-Duel은 **평가 시점에 작업과 오라클을 생성**함으로써 누출을 방지하고, **참가 에이전트의 능력에 따라 난이도가 조절**되도록 설계되었다. Red 에이전트는 세 번의 **컨텍스트 분리된 세션**(context-isolated sessions)을 통해 새로운 기능을 제안하고, 결함을 삽입한 후, **자신의 결함을 수정할 수 있는지 검증**한다. Blue 에이전트는 결함 존재를 알지 못한 상태에서 수정을 시도해야 하며, 모든 테스트를 통과해야 승리한다. 이는 실제 소프트웨어 개발 주기의 여러 단계(요구사항 정의, 테스트 작성, 코드 리뷰, 결함 수정)를 반영한다.

기술적 접근법

**Red-Blue 대결 프로토콜**: Red 에이전트는 3개의 독립 세션에서 기능을 구현하고 결함을 삽입.
**결함 삽입 조건**: (1) 기능 테스트와 기존 테스트는 통과, (2) 결함 테스트는 실패, (3) Red 에이전트가 새로운 세션에서 결함을 수정할 수 있어야 함.
**Blue 에이전트 승리 조건**: 수정된 코드가 모든 테스트(기능, 기존, 결함)를 통과.
**참가자**: 11개 (모델, 허네스) 쌍, 15개 레포지토리, 5개 언어, 1,500회 대결.
**모델 예시**: GPT-5.5(Codex CLI), Claude Opus 4.8(mini-swe-agent), DeepSeek V4 Pro, Gemini 3.1 Pro.

주요 결과

**GPT-5.5(Codex CLI)**: 결함 수정 성능 98.3% (가장 높은 **solver 성능**).
**Claude Opus 4.8(mini-swe-agent)**: Red 에이전트 승률 27.3% (가장 높은 **task author 성능**).
**모델 내 비교**: 최신 버전이 이전 버전보다 고정 리뷰어를 더 자주 이김 (42.9% vs. 4.0%).
**Gemini 3.1 Pro**는 5번의 경기만으로 리더보드에 진입 가능.

의의 및 한계

SWE-Duel은 기존 정적 벤치마크의 누출 문제를 극복하고, 에이전트의 능력에 따라 난이도가 조절되는 **자체 확장형 평가 시스템**을 제시한다. 특히, **작업 생성 능력과 해결 능력을 분리 평가**함으로써 다양한 모델의 강점과 약점을 명확히 파악할 수 있다. 또한, **오픈 툴킷**을 제공하여 커뮤니티가 자체 토너먼트를 진행할 수 있도록 지원한다. 한편, 현재는 **11개 팀만 참여**했으며, **평가 시간이 상대적으로 길고 자원 집약적**이라는 점이 한계로 작용할 수 있다.

실용적 활용

SWE-Duel은 **LLM 기반 코드 생성 및 수정 능력을 지속적으로 평가하고 비교**할 수 있는 플랫폼으로, 소프트웨어 엔지니어링 연구, 코드 리뷰 시스템 개선, 모델 성능 모니터링 등에 활용 가능하다. 특히, **모델 업데이트 시점에 따른 성능 변화 추적**에 유용하며, **실제 개발 환경과 유사한 평가 조건**을 제공함으로써 산업 현장에서도 적용 가능하다.