SWE-bench Science: Can Coding Agents Resolve Engineering Tasks in Science?

Software increasingly functions as part of the scientific instrument itself, making failures in scientific code capable of compromising not only program behavior but also the evidence underlying scientific conclusions. Yet existing evaluations of coding agents largely emphasize aggregate task success, providing limited insight into why agents fail when repairing scientific software. We introduce SWE-bench Science, a repository-level benchmark for scientific software engineering comprising 119 tasks from 98 GitHub repositories across 20 scientific domains. Each task is organized into one of three paradigms: Issue-driven, Expert-exploratory, and Engineering-integration. Even the best-performing agent, Claude Code with Opus-5 (max), achieves a pass@1 below 50\%, highlighting the substantial challenges posed by scientific software engineering. We identify four recurring failure mechanisms: deficits in scientific knowledge or abstraction, misguided exploration or surface-level repair, incomplete repair coverage or system integration, and failures to generalize scientific knowledge beyond observed cases in our analysis. We further conduct a paired ablation that removes explicit scientific guidance while preserving the repository and executable engineering context. The results show that scientific knowledge is not uniformly beneficial: well-grounded information can constrain repair and improve average performance and token efficiency, whereas poorly aligned guidance can induce anchoring and does not necessarily improve exact repair success. Together, SWE-bench Science provides a broad testbed for studying both the capabilities and failure mechanisms of coding agents in scientific software engineering.

한 줄 요약

SWE-bench Science는 과학 소프트웨어 엔지니어링을 평가하기 위한 레포지토리 수준 벤치마크로, Claude Code with Opus-5 (max)의 pass@1이 50% 미만임을 보여준다.

핵심 기여도

SWE-bench Science: 98개 GitHub 레포지토리에서 119개 과학 엔지니어링 태스크를 포함한 벤치마크 제시.
3가지 패러다임(Issue-driven, Expert-exploratory, Engineering-integration)으로 태스크 분류.
Claude Code with Opus-5 (max)의 pass@1이 50% 미만으로 과학 소프트웨어 엔지니어링의 난이도 강조.
4가지 반복적 실패 메커니즘(과학 지식 결핍, 표면 수리, 통합 부족, 일반화 실패) 분석.

핵심 아이디어

기존 코드 생성 에이전트 평가가 단순 성공률에 집중하는 반면, 과학 소프트웨어 수리 실패 원인을 명확히 파악하는 데는 한계가 있다.
SWE-bench Science는 과학적 맥락에서 코드 수리가 얼마나 복잡한지를 보여주기 위해, 실제 과학 레포지토리에서 추출한 문제를 기반으로 설계되었다.
특히, 과학 지식이 수리 성공에 항상 긍정적인 영향을 주는 것은 아니라는 점을 발견했는데, 잘못된 지침은 오히려 수리 과정을 방해할 수 있다.

기술적 접근법

98개 GitHub 레포지토리에서 119개 과학 엔지니어링 태스크를 추출.
태스크는 Issue-driven, Expert-exploratory, Engineering-integration 3가지 패러다임으로 분류.
Claude Code with Opus-5 (max)를 포함한 에이전트 평가.
과학 지침 제거한 paired ablation 실험을 통해 지식의 영향 분석.

주요 결과

Claude Code with Opus-5 (max)의 pass@1은 50% 미만.
과학 지침이 정확할 경우 토큰 효율성과 평균 성능 향상.
잘못된 지침은 정확한 수리 성공률 개선에 기여하지 않음.

의의 및 한계

SWE-bench Science는 과학 소프트웨어 엔지니어링에서 코드 생성 에이전트의 능력과 실패 메커니즘을 체계적으로 평가할 수 있는 테스트베드를 제공한다.
과학 지식이 항상 유리하지 않다는 점은 코드 생성 에이전트 설계 시 과학적 맥락의 정확한 이해가 필수적임을 시사한다.
한계로는 태스크 수가 119개로 제한적이고, 일부 과학 분야에 편중될 수 있다는 점이 있다.

실용적 활용

SWE-bench Science는 과학 연구소, 소프트웨어 엔지니어링 연구, 코드 생성 에이전트 개발자에게 과학 소프트웨어 수리 능력을 평가하고 개선하는 데 활용될 수 있다.