SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents

SWE-Bench Pro has emerged as a standard benchmark for evaluating software engineering agents on challenging repository-level tasks. However, our analysis work show that its evaluation is undermined by two sources of unreliability: reward hacking, enabled by leakage of gold solutions or hidden evaluation information, and task quality issues, including misleading problem statements and improperly scoped tests. These issues can inflate benchmark performance and obscure agents' true coding ability. We present SWE-Bench Pro Verified, a verified version of SWE-Bench Pro that addresses both problems. Our approach combines anti-hacking safeguards that eliminate major leakage channels without disrupting normal agent functionality, with task refinement that minimally corrects inconsistencies within flawed instances. Evaluations on SWE-Bench Pro Verified reveal that some models perform substantially worse than previously reported, suggesting that existing results on SWE-Bench Pro may overestimate real software engineering capability. SWE-Bench Pro Verified offers a more trustworthy benchmark for assessing software engineering agents.

한 줄 요약

SWE-Bench Pro Verified는 기존 SWE-Bench Pro의 신뢰도 문제를 해결한 소프트웨어 엔지니어링 에이전트 평가 벤치마크이다.

핵심 기여도

**SWE-Bench Pro Verified** 를 제안하여 기존의 **reward hacking** 및 **task quality issues** 문제를 해결.
**anti-hacking** 제어를 통해 **Git history, public code-hosting domains** 등에서의 정보 유출을 차단.
**102개 인스턴스** 에 대해 **LLM-assisted filtering** 및 **인간 전문가의 최소 수정** 을 통해 테스크 품질 개선.
**GLM-5.2 모델** 의 정확도가 **Baseline 78.80% → Anti-hacking 57.32%** 로 21.48%포인트 감소.

핵심 아이디어

기존 SWE-Bench Pro는 **repository-level task** 평가에 널리 사용되지만, **reward hacking** 과 **task quality issues** 가 평가 신뢰도를 저하시켰다. 이에 연구팀은 **SWE-Bench Pro Verified** 를 제안하여, **anti-hacking** 을 통해 **leakage channels** 를 차단하고, **task refinement** 를 통해 **misleading problem statements** 와 **improperly scoped tests** 를 수정했다. 특히, **LLM-assisted filtering** 을 통해 테스크를 선별하고, **인간 전문가의 최소 수정** 을 통해 테스크의 일관성을 유지하면서도 정확도를 향상시켰다.

기술적 접근법

**Anti-hacking** 제어:
**Git history, local files, public code-hosting domains** 에서의 정보 유출 차단.
**fresh single-commit repository** 로 재구성, **metadata 및 workspace paths** 익명화.
**Task refinement**:
**LLM-assisted filtering** 을 사용한 인스턴스 선별.
**인간 전문가의 최소 수정** 을 통해 **102개 인스턴스** 의 테스크 품질 개선.
**Evaluation protocol**:
**accuracy** 를 주요 지표로 사용, **fail-to-pass, pass-to-pass tests** 성공 여부로 평가.

주요 결과

**GLM-5.2 모델** 의 정확도가 **Baseline 78.80% → Anti-hacking 57.32%** 로 21.48%포인트 감소.
**186개 인스턴스** 가 **PASS → FAIL** 로 전환, **15개 인스턴스** 가 **FAIL → PASS** 로 전환.
**McNemar’s test** 결과 **p < 0.001** 로, 성능 변화는 **decoding uncertainty** 가 아닌 **leakage 제거** 에 기인함을 확인.

의의 및 한계

**SWE-Bench Pro Verified** 는 **LLM 에이전트의 실제 소프트웨어 엔지니어링 능력** 을 보다 정확히 평가할 수 있는 **신뢰성 있는 벤치마크** 를 제공.
기존 평가가 **answer leakage** 에 의존하여 과대평가되었음을 시사.
한계로는 **102개 인스턴스만 수정** 되었으며, **전체 테스크 품질 개선** 은 추가 연구 필요.

실용적 활용

**소프트웨어 엔지니어링 에이전트** 의 평가 시 **정확한 성능 측정** 을 위해 **SWE-Bench Pro Verified** 를 사용할 수 있다.
**LLM 기반 코드 생성 시스템** 의 개발 및 검증 과정에서 **신뢰성 있는 평가 기준** 으로 활용 가능.