PaperBench: Evaluating AI's Ability to Replicate AI Research

We introduce PaperBench, a benchmark evaluating the ability of AI agents to replicate state-of-the-art AI research. Agents must replicate 20 ICML 2024 Spotlight and Oral papers from scratch, including understanding paper contributions, developing a codebase, and successfully executing experiments. For objective evaluation, we develop rubrics that hierarchically decompose each replication task into smaller sub-tasks with clear grading criteria. In total, PaperBench contains 8,316 individually gradable tasks. Rubrics are co-developed with the author(s) of each ICML paper for accuracy and realism. To enable scalable evaluation, we also develop an LLM-based judge to automatically grade replication attempts against rubrics, and assess our judge's performance by creating a separate benchmark for judges. We evaluate several frontier models on PaperBench, finding that the best-performing tested agent, Claude 3.5 Sonnet (New) with open-source scaffolding, achieves an average replication score of 21.0%. Finally, we recruit top ML PhDs to attempt a subset of PaperBench, finding that models do not yet outperform the human baseline. We open-source our code (https://github.com/openai/preparedness) to facilitate future research in understanding the AI engineering capabilities of AI agents.

한 줄 요약

PaperBench는 AI 에이전트가 최신 AI 연구를 복제하는 능력을 평가하는 벤치마크로, 21.0%의 최고 점수를 기록한 Claude 3.5 Sonnet가 인간 기준(41.4%)에는 미치지 못함.

핵심 기여도

20개의 ICML 2024 Spotlight 및 Oral 논문을 대상으로 한 PaperBench 벤치마크 개발.
각 논문 별 8,316개의 개별 평가 가능한 태스크로 구성된, 원저자와 공동 개발된 평가 기준 제공.
LLM 기반 자동 평가 시스템(Judge) 도입, o3-mini-high 기반의 자동 평가기 F1 점수 0.83 달성.
Claude 3.5 Sonnet (New)가 21.0%의 복제 점수를 기록, 인간 기준(41.4%)에는 미치지 못함.

핵심 아이디어

PaperBench는 AI 에이전트가 최신 머신러닝 연구를 독자적으로 복제할 수 있는 능력을 평가하기 위해 설계된 체계적인 벤치마크이다. 이는 단순히 논문 내용을 이해하는 것을 넘어, 코드베이스를 개발하고 실험을 실행하는 복잡한 엔지니어링 과정을 포함한다. 기존 연구 재현 작업이 인간 전문가에게는 최소 수일이 소요되는 반면, AI는 아직 전체 과정을 완료하지 못하고 있다. 이 연구는 AI가 연구 개발(R&D) 과정에서 어느 정도까지 도달했는지를 측정하기 위한 첫 시도로, 특히 LLM 기반 자동 평가 시스템(Judge)을 도입함으로써 대규모 평가를 가능하게 했다.

기술적 접근법

**PaperBench**: 20개의 ICML 2024 논문을 대상으로, 각 논문 복제 과제를 8,316개의 하위 태스크로 분해한 평가 기준 개발.
**LLM 기반 Judge**: o3-mini-high 모델을 사용한 자동 평가 시스템 구축, JudgeEval이라는 별도의 평가 세트로 성능 검증 (F1 0.83).
**실험 환경**: Claude 3.5 Sonnet (New) + open-source scaffolding 사용, 20개 논문 복제 점수 21.0%.
**인간 기준 비교**: 3개 논문에 대한 ML 박사과정 학생의 48시간 작업 결과, 41.4%의 점수 기록.

주요 결과

Claude 3.5 Sonnet (New)는 20개 논문을 대상으로 21.0%의 복제 점수를 기록.
인간 기준(ML 박사과정 학생)은 3개 논문에 대해 41.4% (48시간 동안)의 점수를 달성.
o1 모델은 동일 3개 논문에서 26.6%의 점수를 기록.
PaperBench Code-Dev 버전에서 o1은 43.4%의 점수를 달성.

의의 및 한계

PaperBench는 AI가 연구 개발 능력을 갖추고 있는지를 평가하는 첫 번째 체계적인 벤치마크로, AI의 자율성과 장기적 업무 수행 능력을 측정하는 데 기여한다. 특히, LLM 기반 자동 평가 시스템(Judge)은 대규모 평가를 가능하게 하며, 연구 재현 과정의 세부 단계를 정량적으로 평가할 수 있다. 그러나 현재 AI는 인간 수준의 연구 복제 능력에 도달하지 못하고 있으며, 실험 실행, 디버깅, 결과 분석 등 복잡한 엔지니어링 과정에서 한계가 드러난다. 또한, PaperBench는 실제 연구 환경의 모든 측면을 반영하지 못하며, 일부 상황에서는 과도한 제약이 있을 수 있다.

실용적 활용

PaperBench는 AI 연구 재현 능력을 평가하는 표준 도구로 활용될 수 있으며, AI 에이전트의 연구 개발 역량을 모니터링하고 개선하는 데 사용될 수 있다. 특히, 연구 개발 프로세스 자동화, AI 기반 코드 생성, 실험 자동화 등에 적용 가능하며, AI의 연구 역량 진화를 추적하는 데 중요한 역할을 할 수 있다.