Agent Laboratory: Using LLM Agents as Research Assistants

Historically, scientific discovery has been a lengthy and costly process, demanding substantial time and resources from initial conception to final results. To accelerate scientific discovery, reduce research costs, and improve research quality, we introduce Agent Laboratory, an autonomous LLM-based framework capable of completing the entire research process. This framework accepts a human-provided research idea and progresses through three stages--literature review, experimentation, and report writing to produce comprehensive research outputs, including a code repository and a research report, while enabling users to provide feedback and guidance at each stage. We deploy Agent Laboratory with various state-of-the-art LLMs and invite multiple researchers to assess its quality by participating in a survey, providing human feedback to guide the research process, and then evaluate the final paper. We found that: (1) Agent Laboratory driven by o1-preview generates the best research outcomes; (2) The generated machine learning code is able to achieve state-of-the-art performance compared to existing methods; (3) Human involvement, providing feedback at each stage, significantly improves the overall quality of research; (4) Agent Laboratory significantly reduces research expenses, achieving an 84% decrease compared to previous autonomous research methods. We hope Agent Laboratory enables researchers to allocate more effort toward creative ideation rather than low-level coding and writing, ultimately accelerating scientific discovery.

한 줄 요약

LLM 에이전트 기반 연구 프레임워크인 Agent Laboratory가 연구 과정을 자동화하고 연구 비용을 84% 절감하는 것을 보여준다.

핵심 기여도

o1-preview 기반의 Agent Laboratory가 연구 결과 품질에서 가장 우수함 (4.4/5 평가).
생성된 머신러닝 코드가 기존 방법 대비 최첨단 성능 달성.
인간 피드백이 연구 품질을 크게 향상시킴 (o1-mini 기반 실험 품질 3.2/5 → +0.6 개선).
연구 비용을 이전 자동화 연구 대비 84% 절감 (gpt-4o 기반 2.33달러/논문).

핵심 아이디어

Agent Laboratory는 인간이 제공한 연구 아이디어를 받아 문헌 검토, 실험, 보고서 작성 단계를 자동화하여 연구 전체 프로세스를 수행하는 LLM 에이전트 프레임워크이다. 이는 기존 연구 에이전트가 독립적으로 아이디어를 생성하는 방식과 달리, 인간 연구자의 아이디어를 기반으로 실행하며, 인간 피드백을 각 단계에서 받을 수 있도록 설계되었다. 핵심 통찰은 인간-LLM 협업이 연구 품질과 효율성을 동시에 향상시킬 수 있다는 점이다. 특히, mle-solver라는 모듈이 MLE-Bench에서 기존 솔버 대비 더 높은 일관성과 점수를 기록하며, 금·은메달을 더 많이 획득한 점이 주목할 만하다.

기술적 접근법

**모듈 구성**: literature review, experimentation, report writing 3단계로 구성.
**LLM 백엔드**: gpt-4o, o1-mini, o1-preview 사용.
**인간 피드백**: co-pilot 모드에서 연구자 피드백을 각 단계에서 받음.
**mle-solver**: Kaggle 기반 MLE-Bench에서 기존 솔버 대비 더 높은 성능.
**비용 절감**: gpt-4o 기반으로 2.33달러/논문, 이전 연구 대비 84% 절감.
**실험 평가**: NeurIPS 스타일 평가에서 o1-preview가 clarity, soundness에서 가장 높은 점수.

주요 결과

o1-preview 기반 연구 보고서 평가: 4.4/5 (usefulness), 3.4/5 (report quality).
o1-mini 기반 실험 품질: 3.2/5 (기존 gpt-4o 대비 +0.6 개선).
gpt-4o 기반 연구 비용: 2.33달러/논문 (이전 자동화 연구 대비 84% 절감).
MLE-Bench에서 mle-solver: 기존 솔버 대비 더 높은 일관성과 메달 수 (금·은 포함).

의의 및 한계

Agent Laboratory는 연구 과정을 자동화함으로써 연구자들이 창의적 아이디어 개발에 집중할 수 있도록 지원하며, 연구 비용과 시간을 크게 절감한다. 특히, 인간-LLM 협업 모델인 co-pilot 모드는 연구 품질을 향상시키는 데 효과적임을 보여준다. 그러나, 자동 평가와 인간 평가 간의 큰 차이 (6.1/10 vs. 3.8/10)는 자동 평가의 한계를 드러내며, 인간 피드백이 여전히 필수적임을 시사한다. 또한, 특정 주제 (예: word order, image noise)에서는 LLM 백엔드에 따라 결과 품질이 크게 달라지는 문제가 존재한다.

실용적 활용

Agent Laboratory는 연구자들이 연구 아이디어를 빠르게 실행하고, 코드 작성 및 보고서 작성과 같은 반복적 업무에서 벗어나 창의적 연구에 집중할 수 있도록 지원한다. 특히, 자원이 제한된 연구 환경이나 초기 연구 아이디어 탐색 단계에서 유용하게 활용될 수 있다.