Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?

Repository-level performance-optimization benchmarks such as GSO, SWE-Perf and SWE-fficiency evaluate coding agents by applying patches to real repositories and comparing runtime against unoptimized baselines and official reference patches. Their leaderboard scores are increasingly used as evidence of coding-agent progress, but those scores can conflate runtime instability, benchmark-specific scoring rules, and how many tasks are already solved by at least one public submission. We audit these issues across the three benchmarks. First, we replay the official reference patches for 740 code optimization tasks across four common types of Google Cloud machines. Most benchmark tasks can be replayed, but their reference patches satisfy the original benchmark validity rules in every cross-machine replay for only 39/102 GSO tasks, 11/140 SWE-Perf tasks, and 411/498 SWE-fficiency tasks; SWE-Perf is especially fragile because many reference patches produce close-to-zero runtime changes. Second, we show that public submission rankings depend strongly on the benchmark scoring rule. Among eight public submissions shared by GSO and SWE-fficiency, the official rankings disagree on 9 of 28 pairwise submission comparisons, and SWE-fficiency's leaderboard scoring rule assigns the worst ten tasks overly high score weights of 58.5%-82.8%. Third, looking across 10 public submissions for each task, we find that at least one submission matches or beats the reference patch on 85.3% (384/450) of replay-valid GSO and SWE-fficiency tasks, and beats the unoptimized base code on 99.8% (449/450). Our study complements leaderboard scores by identifying tasks with more reliable performance signals, quantifying per-task score contributions, and exposing the remaining performance gaps that are hidden by aggregate rankings.

한 줄 요약

성능 최적화 벤치마크의 신뢰도를 평가하여, 기존 지표의 한계와 개선 방향을 제시한다.

핵심 기여도

GSO, SWE-Perf, SWE-fficiency 세 벤치마크에서 공식 레퍼런스 패치가 모든 머신에서 재현 가능한 비율은 각각 39/102, 11/140, 411/498.
SWE-fficiency의 랭킹 점수는 최악의 10개 태스크에 58.5%~82.8%의 과도한 가중치를 부여.
450개 재현 가능한 GSO/SWE-fficiency 태스크 중 384개(85.3%)는 최소 한 개의 공개 제출이 레퍼런스 패치와 동일하거나 더 우수한 성능을 보임.
450개 태스크 중 449개(99.8%)는 최소 한 제출이 최적화되지 않은 코드보다 우수한 성능을 보임.

핵심 아이디어

성능 최적화 벤치마크는 코드 생성 에이전트의 진척도를 평가하는 데 사용되지만, 실제 성능 신호를 정확히 반영하지 못한다는 문제를 제기한다. 연구팀은 GSO, SWE-Perf, SWE-fficiency 세 벤치마크를 대상으로, 레퍼런스 패치의 재현 가능성, 점수 가중치의 불균형, 공개 제출의 성능을 분석함으로써, 기존 지표가 얼마나 신뢰할 수 있는지를 평가한다. 특히, SWE-Perf는 레퍼런스 패치가 실제 성능 개선을 거의 반영하지 못하는 경우가 많아, 신뢰도가 낮은 것으로 나타났다.

기술적 접근법

**740개 코드 최적화 태스크**에 대해, **4가지 Google Cloud 머신**에서 공식 레퍼런스 패치를 재현.
**GSO, SWE-Perf, SWE-fficiency** 세 벤치마크의 **재현 가능성**과 **점수 가중치**를 비교 분석.
**8개 공개 제출**이 GSO와 SWE-fficiency에서 **28개 쌍 중 9개**에서 랭킹이 불일치.
**10개 공개 제출**을 대상으로, 레퍼런스 패치와 비교한 성능을 분석.

주요 결과

GSO: 39/102(38.2%) 태스크가 모든 머신에서 재현 가능.
SWE-Perf: 11/140(7.9%) 태스크가 모든 머신에서 재현 가능.
SWE-fficiency: 411/498(82.5%) 태스크가 모든 머신에서 재현 가능.
SWE-fficiency: 최악 10개 태스크에 58.5%~82.8%의 과도한 점수 가중치.
GSO/SWE-fficiency: 450개 태스크 중 384개(85.3%)는 최소 한 제출이 레퍼런스 패치와 동일하거나 우수.
450개 태스크 중 449개(99.8%)는 최소 한 제출이 최적화되지 않은 코드보다 우수.

의의 및 한계

이 연구는 성능 최적화 벤치마크의 **재현 가능성**, **점수 가중치**, **공개 제출의 성능**을 정량적으로 평가함으로써, 기존 지표의 신뢰도를 평가하는 데 기여한다. 특히, **SWE-Perf의 레퍼런스 패치가 거의 성능 개선을 반영하지 못하는 문제**를 드러내며, **점수 가중치의 불균형**이 결과에 큰 영향을 미친다는 점을 밝혔다. 한계로는 **다른 벤치마크나 머신 환경**에 대한 일반화 가능성은 제한적일 수 있다.

실용적 활용

이 연구는 코드 최적화 에이전트의 평가 시스템 설계, 벤치마크 개선, 공정한 성능 비교를 위한 기준 마련에 활용될 수 있다. 특히, **SWE-Perf와 같은 불안정한 벤치마크의 개선**이나 **점수 가중치의 재설계**에 기여할 수 있다.