Automating ML for Science: Can Frontier Agents Climb Scientific Hills in the Wild?

Frontier coding agents are increasingly framed as end-to-end automated researchers, and ML for science offers a demanding test of that promise: improving a scientific model often requires domain insight beyond routine ML engineering. We introduce Agent4Sci, a long-horizon testbed for measuring how far today's agents can improve the published best models on scientific ML benchmarks, spanning 20 benchmarks across 11 domains. Rather than ranking agents on a leaderboard, Agent4Sci asks what kinds of progress agents can make on these tasks under in-the-wild conditions, and where they fall short. Empirically, today's frontier agents advance the published best on every benchmark, with Claude Opus reaching 10.4% mean relative improvement and no run flagged for academic misconduct. These gains, however, come almost entirely from a bag of ML-engineering tricks rather than research-level insight. Trajectory analysis surfaces three recurring limitations in this setting: novelty miscalibration, resource under-utilization, and rapid collapse into local engineering sweeps. Lightweight plug-in skills for research ideation, experiment management, and scheduled checklists raise Claude Opus from 10.4% to 20.1% and Codex from 4.4% to 8.1%, while yielding more diverse, domain-relevant interventions. Agent4Sci gives the community a way to track and push frontier agents from ML engineering toward domain insight on real-world ML-for-science problems. Code and data are available on GitHub (https://github.com/maszhongming/agent4sci) and Hugging Face (https://huggingface.co/datasets/MingZhong/agent4sci).

한 줄 요약

Agent4Sci는 과학 분야 머신러닝 벤치마크에서 최신 에이전트의 성능 향상 가능성을 평가하는 테스트베드로, Claude Opus가 10.4%의 평균 상대 개선을 달성했으나 대부분은 엔지니어링 기법에 의존한다는 점을 밝힘.

핵심 기여도

Agent4Sci는 11개 과학 분야 20개 벤치마크를 포함한 **실무 환경**에서 에이전트 성능을 평가하는 테스트베드를 제시.
**Claude Opus**는 10.4%의 평균 상대 개선을 달성했으나, 대부분은 **ML 엔지니어링 기법**에서 비롯됨.
**Codex**는 4.4%에서 8.1%로, **플러그인 기술** 도입으로 성능 향상.
**PFDelta 2000**에서 Codex는 99.5%의 PBL 감소를 달성했으나, **CarbonGlobe**에서는 과적합으로 성능 저하.

핵심 아이디어

Agent4Sci는 과학 분야 머신러닝에서의 자동화 연구를 평가하기 위한 **실무 환경 테스트베드**를 제시한다. 기존 연구는 대부분 구조화된 코드베이스와 단일 작업에 초점을 맞추었으나, Agent4Sci는 **다양한 과학 분야**와 **실제 연구 환경**을 반영한 평가 프로토콜을 도입했다. 이는 에이전트가 단순한 ML 엔지니어링 기법에 의존하는지, 아니면 **과학적 통찰**을 반영하는지 구분하는 데 목적이 있다. 예를 들어, Codex는 PFDelta 2000에서 **GNN을 Newton-Raphson 솔버의 초기값으로 활용하는 도메인 특화 아이디어**를 제시했으나, 이는 **랜덤 탐색**의 결과였다. 반면, CarbonGlobe에서는 **과적합**으로 인해 성능이 오히려 감소하는 사례도 나타났다.

기술적 접근법

**테스트베드 구성**: 11개 과학 분야 20개 벤치마크, 25개 작업 포함.
**평가 프로토콜**: 에이전트는 훈련 및 검증 데이터만 접근 가능. 제출된 아티팩트는 별도 평가 에이전트가 테스트 세트에서 평가.
**실험 환경**: 8개 H200 GPU, 12시간 예산.
**에이전트**: Claude Code (Opus, Sonnet), Codex, Gemini CLI.
**플러그인 기술**: 연구 아이디어 생성, 실험 관리, 일정 체크리스트 적용.
**PFDelta 2000**: Codex는 **GPU Newton-Raphson 솔버**와 **조건에 따른 적응 학습 정책**을 도입.
**CarbonGlobe**: Codex는 80–100개의 다양한 아키텍처를 학습한 후 **셀 단위 가중치 조합**을 시도했으나, 과적합 발생.

주요 결과

**Claude Opus**: 10.4% 평균 상대 개선.
**Codex**: 4.4% → 8.1% (플러그인 기술 적용 후).
**PFDelta 2000**: Codex는 **99.5% PBL 감소**를 달성.
**CarbonGlobe**: Codex는 **25% 테스트 성능 저하**.
**모든 에이전트**: **학술적 부정행위 없이** 벤치마크 최고 성능을 초과.

의의 및 한계

Agent4Sci는 **과학 분야 ML 자동화 연구의 진전을 측정**할 수 있는 체계적인 프레임워크를 제공한다. 특히, 에이전트가 단순한 ML 엔지니어링 기법에 의존하는지, 아니면 **과학적 통찰**을 반영하는지 구분할 수 있다. 그러나 현재 에이전트는 대부분 **엔지니어링 최적화**에 의존하며, **과학적 아이디어 생성 능력은 여전히 제한적**이다. 또한, **시간이 흐를수록 성능 개선이 감소**하거나 **과적합**이 발생하는 경향이 관찰된다. 이는 에이전트가 단순히 더 오래 실행하면 성능이 향상되지 않는다는 점을 시사한다.

실용적 활용

Agent4Sci는 **과학 연구 분야에서 ML 자동화 에이전트의 성능을 평가**하고, **과학적 통찰을 반영하는 방향으로 개선**할 수 있는 도구로 활용될 수 있다. 특히, **에너지 시스템 최적화 (PFDelta 2000)**, **기후 모델링 (CarbonGlobe)** 등에서 에이전트의 도메인 특화 아이디어를 평가할 수 있어, **산업 및 정책 결정 과정**에서 유용할 수 있다.