SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring

As AI coding agents take on increasingly complex, long-horizon software engineering tasks, existing benchmarks are rapidly saturating and their evaluation quality has come under serious scrutiny: a recent audit found that nearly 60% of unsolved SWE-bench Verified instances contain flawed tests -- either overly narrow tests that reject correct solutions or overly broad tests that check unstated requirements -- and that frontier models can verbatim reproduce gold patches from training data. Code refactoring, which requires coordinated, behavior-preserving changes across many files, offers a substantially harder and more realistic test of agent capability, yet remains underserved by current benchmarks. We introduce SWE-Bench ProMax, an expert-curated, multilingual code refactoring benchmark of 170 instances drawn from real commits across seven programming languages (Python, Java, TypeScript, Go, C, C++, and Rust). Every instance undergoes rigorous, multi-stage curation that directly addresses the quality problems identified in prior benchmarks: issue descriptions are rewritten from scratch to provide precise, unambiguous specifications, and test suites are manually reviewed to remove overly narrow and overly broad tests. Tasks with insufficient complexity or limited cross-file scope are filtered out, yielding a benchmark of challenging, large-scale refactoring tasks that average 11.4 modified files and 261.6 lines of code per instance, substantially exceeding the scale of existing benchmarks. Experiments with frontier models under two agent scaffolds show that the best model achieves only 41.2% resolve rate, confirming that SWE-Bench ProMax presents a meaningful and unsaturated challenge for current AI coding agents. Our benchmark is available at https://huggingface.co/datasets/swe-bench-promax/SWE-Bench-ProMax.

한 줄 요약

SWE-Bench ProMax는 7개 언어에 걸쳐 170개의 실제 커밋 기반 리팩토링 태스크로, 기존 벤치마크의 한계를 극복한 다국어 코드 리팩토링 평가 기준이다.

핵심 기여도

170개의 실제 커밋 기반 리팩토링 인스턴스를 7개 언어(Python, Java, TypeScript, Go, C, C++, Rust)로 구성.
모든 인스턴스는 명확한 문제 설명과 검증된 테스트 스위트를 갖도록 전문가가 다단계로 큐레이션.
평균 11.4개 파일, 261.6줄의 코드 변경을 요구하며, 기존 벤치마크보다 훨씬 큰 규모.
최고 성능 모델(GPT-5.2)이 41.2%의 해결률을 기록하며, 기존 벤치마크의 포화 문제를 입증.

핵심 아이디어

기존 코드 리팩토링 벤치마크는 테스트 스위트의 불완전성(과도한 제한성 또는 포괄성)과 문제 설명의 모호성으로 인해 평가 신뢰도가 낮았다. SWE-Bench ProMax는 이 문제를 해결하기 위해 실제 커밋에서 추출한 인스턴스를 전문가가 다단계로 큐레이션하여, 명확한 문제 정의와 검증 가능한 테스트 스위트를 제공한다. 또한, 기존 벤치마크가 단일 파일 또는 소규모 변경에 집중한 반면, SWE-Bench ProMax는 평균 11.4개 파일을 수정하는 대규모 리팩토링을 요구하여, 지속적인 다파일 추론 능력을 평가한다. 이는 AI 코딩 에이전트가 실제 소프트웨어 개발 환경에서 요구되는 능력을 얼마나 잘 갖추었는지를 더 정확하게 평가할 수 있도록 한다.

기술적 접근법

**데이터셋**: 29,782개의 초기 후보 중 170개 인스턴스를 3단계 큐레이션 과정을 통해 선별.
**큐레이션 단계**: 문제 설명 재작성, 테스트 스위트 수동 검토, 불충분한 복잡도 또는 다파일 범위가 제한된 인스턴스 제거.
**평가 지표**: Resolve rate (Pass@1), 즉 모든 테스트를 통과한 인스턴스 비율.
**실험 모델**: GPT-5.2, Claude Sonnet 4.6, GLM-5, Qwen3.5 등 6개 프런티어 모델 평가.
**평균 수정 파일 수**: 11.4개, 평균 수정 라인 수: 261.6줄.

주요 결과

GPT-5.2가 41.2%의 resolve rate를 기록하며, 기존 벤치마크의 포화 문제를 입증.
Claude Sonnet 4.6은 $4.77/인스턴스 비용으로 38.8% 해결, GLM-5는 $0.24/인스턴스로 36.5% 해결.
모든 모델이 다국어 간 성능 차이를 보이며, 어떤 모델도 모든 언어에서 우위를 차지하지 못함.
주요 실패 원인: 불완전한 리팩토링 (수정 파일 수가 gold patch에 비해 부족).

의의 및 한계

SWE-Bench ProMax는 기존 코드 리팩토링 벤치마크의 평가 품질 문제와 포화 현상을 해결하며, 실제 개발 환경에 가까운 대규모 다파일 리팩토링을 평가하는 첫 번째 기준으로 의의가 있다. 특히, 테스트 스위트의 과도한 제한성과 포괄성 문제를 제거하고, 명확한 문제 정의를 통해 평가 신뢰도를 높였다. 그러나, 현재 AI 코딩 에이전트는 지속적인 다파일 추론 능력이 부족하여, 대부분의 인스턴스를 완전히 해결하지 못하는 한계가 있다. 또한, 벤치마크는 7개 언어에만 제한되어 있어, 더 다양한 언어 패러다임을 포함하는 확장이 필요하다.

실용적 활용

SWE-Bench ProMax는 AI 코딩 에이전트의 장기적, 다파일 작업 능력을 평가하는 데 활용될 수 있으며, 특히 리팩토링, 기술 부채 관리, 대규모 코드베이스 유지보수 등 실제 개발 환경에서 중요한 작업을 시뮬레이션하는 데 유용하다. 또한, 개방형 모델과 프로퍼티 모델 간 성능 비교를 통해 비용 효율적인 모델 선택에 기여할 수 있다.