How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks

AI has long assisted scientific research, but the rapid advance of LLMs and agentic scaffolds is reshaping the landscape; a single system can now carry whole-stage research from an initial hypothesis all the way to final published paper, which is a paradigm now referred to as AutoResearch. Existing evaluations reveal little about how these agents operate or where they break down. Tasks are narrowly-scoped, evaluation measures performance but not process, and failure diagnoses lack systematic coverage or artifact-level visibility. To address this gap, we introduce AutoResearchEval, featuring 100 tasks grounded in published frontier science across 7 scientific domains and the full research lifecycle, including ideation, retrieval, execution, analysis, writing, and review. Evaluating 8 harness-model combinations yields 800 autoresearch agent trajectories, with process-level annotation. We organize these insights into AutoResearch Failure Taxonomy or ARFT, a framework of 45 empirically-grounded failure patterns. To enable scalable fine-grained attribution, we leverage a human-calibrated agent-as-a-judge pipeline to inspect complete trajectories and intermediate artifacts. Failure patterns converge on a single overarching limitation, namely that current agents lack a metacognitive loop, which entails the ability to check what they produced against what they found, revise when it does not hold up, and question whether the path they took was sound. The same patterns recur across all 8 harness-model combinations, including the strongest models tested, locating the deficit at the model level rather than in any particular scaffold; whether orchestration-level interventions can close it is an open question this work does not test. We publicly release AutoResearchEval and ARFT to facilitate continued research and development in autonomous scientific discovery.

한 줄 요약

AI 연구 에이전트의 실패 원인을 진단하기 위한 100개 과제와 45개 실패 패턴을 제시하는 AutoResearchEval과 ARFT를 소개한다.

핵심 기여도

AutoResearchEval: 7개 과학 분야, 100개 실제 연구 과제, 8개 모델-하이브리드 조합에서 800개 연구 트래젝토리 수집.
ARFT: 실패 패턴 45개를 수명 주기 단계와 근본 원인으로 분류한 체계적 실패 분류법.
인간 검증 기반 agent-as-a-judge 어노테이터를 활용한 세부 실패 원인 추적.
실패 원인의 핵심은 모델 수준의 metacognitive loop 결여로, 모든 8개 모델에서 동일하게 나타남.

핵심 아이디어

기존 연구 에이전트 평가 시스템은 과제 범위가 좁고, 실패 원인을 세부적으로 진단하지 못하는 문제가 있었다. 이에 본 연구는 AutoResearchEval이라는 평가 프레임워크를 제안하며, 7개 과학 분야에서 실제 연구 과정을 반영한 100개 과제를 설계했다. 8개 모델-하이브리드 조합을 평가하여 800개의 연구 트래젝토리를 수집하고, 인간 검증을 거친 agent-as-a-judge 어노테이터를 통해 실패 원인을 세부적으로 분석했다. 분석 결과, 실패 원인은 단일한 근본 문제, 즉 metacognitive loop의 결여로 귀결되며, 이는 모든 8개 모델에서 공통적으로 나타났다. 이는 단순히 시스템 구조가 아닌 모델 수준의 한계를 드러낸다.

기술적 접근법

**AutoResearchEval**: 7개 과학 분야, 100개 실제 연구 과제, 8개 모델-하이브리드 조합 (예: glm-5.2, claude-sonnet-5, gpt-5-mini 등)에서 800개 연구 트래젝토리 수집.
**ARFT**: 실패 패턴 45개를 수명 주기 단계와 근본 원인(예: self-verification, fabrication 등)으로 분류.
**Agent-as-a-judge 어노테이터**: 인간 검증을 기반으로 트래젝토리와 중간 아티팩트(코드, 데이터, 보고서 등)를 검토.
**모델 서빙**: OpenRouter를 통해 Anthropic-/OpenAI 호환 게이트웨이를 사용. 모델은 과제별 미세 조정 없이 zero-shot 방식으로 사용.

주요 결과

실패 패턴 45개가 800개 트래젝토리에서 추출됨.
실패 원인은 단일한 metacognitive loop 결여로 귀결됨.
self-verification 단계에서 실패 패턴 F.1–F.4가 전체 실패 중 14.1% 차지, F.4는 분석 단계의 82.5%에서 나타남.
8개 모델-하이브리드 조합 모두 동일한 실패 패턴을 보임.
모델별 fabrication 비율은 상이하지만, 실패 패턴은 공통됨.

의의 및 한계

AutoResearchEval과 ARFT는 연구 에이전트의 실패 원인을 체계적으로 진단할 수 있는 기반을 제공하며, 모델 수준의 한계를 드러내는 데 기여한다. 특히, metacognitive loop의 부재는 향후 연구 에이전트 설계에 중요한 지침이 될 수 있다. 그러나 본 연구는 orchestration-level 개입의 효과를 검증하지 않았으며, 실패 원인을 모델 수준으로만 제한하고 있어, 시스템 구조적 개선 가능성에 대한 답을 제시하지 못하는 한계가 있다.

실용적 활용

AutoResearchEval과 ARFT는 연구 에이전트의 신뢰성 향상, 모델 개선, 평가 프로토콜 설계 등에 활용될 수 있다. 특히, 실패 패턴을 기반으로 모델별 최적화 전략을 수립하거나, 연구 과정의 특정 단계(예: 분석, 검토)에 집중한 개선 방안을 도출하는 데 유용하다.