NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?

We introduce NatureBench, a cross-discipline benchmark of 90 tasks distilled from peer-reviewed Nature-family publications, designed to evaluate whether AI coding agents can move beyond reproduction toward discovery on real scientific problems. NatureBench is built on NatureGym, an automated pipeline that constructs a standardized, per-task containerized environment from a source paper, addressing the environment-fragmentation problem that has limited the credibility of prior agent-on-research benchmarks. Evaluating ten frontier agent configurations under a strict web-search-disabled protocol, we find that the strongest model surpasses SOTA on only 17.8% of tasks under the g>0.1 criterion. Analysis of method pathways reveals that agents succeed primarily through methodological translation, converting scientific tasks into familiar supervised prediction problems, rather than through genuine scientific invention. Failures are dominated by wrong method choice and insufficient compute budget, not by task misunderstanding. We release the benchmark, the NatureGym pipeline, and a public leaderboard with maintainer-side reproduction. Code: https://github.com/FrontisAI/NatureBench

한 줄 요약

NatureBench는 과학적 발견 능력을 평가하기 위한 90개 과제로 구성된 AI 코드 에이전트 벤치마크로, 기존 연구 재현을 넘어 새로운 SOTA를 달성하는 능력을 측정한다.

핵심 기여도

NatureGym: Nature 계열 논문에서 자동으로 과제 환경을 생성하는 파이프라인, 환경 분할 문제 해결.
NatureBench: 90개 과제로 구성된 6개 과학 분야의 벤치마크, Discovery-기반 평가 프로토콜 도입.
Claude Opus 4.7가 17.8%의 과제에서 SOTA를 초과, 47.8%에서 일치.
실패 원인: 잘못된 방법 선택(45.1%)과 계산 예산 부족(24.4%).

핵심 아이디어

NatureBench는 AI 코드 에이전트가 과학적 발견을 할 수 있는지 평가하기 위해 설계된 벤치마크로, 기존 연구 재현을 넘어 새로운 알고리즘을 개발하는 능력을 측정한다. 기존 벤치마크는 환경 분할 문제와 과제 이해도 부족으로 신뢰도가 낮았지만, NatureGym은 Nature 계열 논문에서 자동으로 표준화된 컨테이너 환경을 생성하여 이 문제를 해결한다. 평가 지표는 SOTA 기준으로 정규화된 상대적 갭(g)을 사용하며, 90개 과제는 세포 유전체학, 단백질 생물학, 의학 모델링 등 6개 과학 분야에 걸쳐 구성된다.

기술적 접근법

NatureGym: 논문에서 자동으로 컨테이너 환경 생성, 데이터셋, 테스트 세트, 평가기 포함.
NatureBench: 90개 과제, 6개 과학 분야, g>0.1 기준으로 SOTA 초과 여부 평가.
평가 프로토콜: 웹 검색 금지, 컨테이너 내부 폐쇄, 사후 유효성 검증 포함.
실험 대상: Claude Code, Codex CLI, Gemini CLI 3개 헤arness, 10개 최첨단 모델.

주요 결과

Claude Opus 4.7가 g>0.1 기준으로 17.8%의 과제에서 SOTA를 초과, 47.8%에서 일치.
성공 주요 경로: 과학 과제를 감독 학습 문제로 변환(45.5%의 검증 성공).
실패 원인: 잘못된 방법 선택(45.1%)과 계산 예산 부족(24.4%).
감독 학습 방법 사용 시 37.7%의 SOTA 일치, 다른 방법 사용 시 29.6%.

의의 및 한계

NatureBench는 AI 코드 에이전트가 과학적 발견을 할 수 있는지 평가하는 첫 번째 종합적 벤치마크로, 기존 연구 재현을 넘어 새로운 알고리즘을 개발하는 능력을 측정한다. 그러나 실패 원인 분석에서 보듯이, 에이전트는 여전히 과학적 발명보다는 기존 방법을 변형하는 데 의존하며, 계산 자원 부족도 주요 한계이다. 또한, 일부 과제는 특정 도메인에 의존적이며, 이는 벤치마크의 일반화 가능성에 영향을 줄 수 있다.

실용적 활용

NatureBench는 AI 에이전트가 과학 연구에 기여할 수 있는지 평가하는 데 활용될 수 있으며, 특히 의학 모델링, 단백질 설계, 분자 설계 등에서 새로운 알고리즘 개발을 촉진할 수 있다. 또한, NatureGym은 연구자들이 논문 기반 과제를 자동화된 방식으로 평가하는 데 유용하게 사용될 수 있다.