AutoResearch AI: Towards AI-Powered Research Automation for Scientific Discovery
Guiyao Tie, Jiawen Shi, Dingjie Song, Yixiao Huang, Ziji Sheng, Xueyang Zhou, Daizong Liu, Pan Zhou, Yongchao Chen, Ran Xu, Lifang He, Qingsong Wen, Manling Li, Cong Lu, Shuai Li, Pengtao Xie, Yixuan Yuan, Rui Meng, Lei Xing, Lichao Sun, Caiming Xiong, Philip S. Yu, Jianfeng Gao
arXiv:2605.23204 · 2026-05-25 공개 · arXiv · PDF
scientific-discovery auto-research mixed-initiative ai-scientist hypothesis-generation workflow-automation experimentation validation-mechanisms
Abstract
Scientific research is being reshaped by AI systems that move beyond isolated assistance toward longer-horizon workflows spanning literature grounding, hypothesis generation, experimentation, validation, reporting, and revision. This shift marks a transition from task-level AI for science to workflow-level research automation. Yet current systems remain fragmented, differing in autonomy, domain scope, execution environment, validation mechanism, and human oversight, while still struggling with evidence preservation, reproducibility, weak-direction rejection, provenance tracking, cross-domain robustness, and accountable scientific closure. This survey examines these developments through AutoResearch, defined as the developmental spectrum of AI-powered scientific workflow automation. Within it, Vibe Research denotes the human-steered region of prompt-based assistance and human-verified execution, whereas emerging AI-led systems coordinate larger portions of the discovery loop without achieving robust autonomy. We analyze how research systems redistribute control, evidence, execution, validation, and accountability across workflows and organize the field around five workflow conditions: literature and research grounding; hypothesis formation and planning; experimentation and tool use; feedback, validation, and review; and reporting and knowledge communication. We further synthesize AI scientist systems, mixed-initiative co-research frameworks, benchmarks, domain deployments, and open-source infrastructures. Finally, we propose five evaluation dimensions--novelty, validity, impact, reliability, and provenance--and show that AutoResearch autonomy is domain-conditioned, being more credible in structured, executable, and rapidly verifiable settings but limited in embodied, delayed, heterogeneous, ethical, or institutionally accountable contexts.
한국어 요약
📋 한 줄 요약
**[AutoResearch 서베이]** AutoResearch 스펙트럼(Vibe Research↔AI-led)을 5개 워크플로우 조건·5개 평가 차원(novelty·validity·impact·reliability·provenance)으로 정리한 종합 서베이.
🎯 핵심 기여도
- 과학 연구가 isolated assistance를 넘어 literature grounding·hypothesis generation·실험·검증·보고·revision을 아우르는 longer-horizon 워크플로우로 reshape되고 있음 — task-level AI for science에서 workflow-level research automation으로의 전환을 진단.
- 현 시스템이 autonomy·도메인 범위·실행 환경·검증 메커니즘·human oversight에서 fragmented하며 evidence preservation·재현성·weak-direction rejection·provenance tracking·cross-domain robustness·accountable scientific closure에서 여전히 어려움 지적.
- AutoResearch 정의 — AI 기반 과학 워크플로우 자동화의 발달 스펙트럼. Vibe Research(prompt 기반 보조·인간 검증 실행의 human-steered 영역)와 발생 중인 AI-led 시스템(robust autonomy 없이 발견 루프의 더 큰 부분을 조율)으로 구분.
- 통제·증거·실행·검증·책임이 워크플로우에 어떻게 재분배되는지 분석, 5가지 워크플로우 조건(literature/research grounding, hypothesis formation & planning, 실험·tool 사용, feedback/validation/review, reporting/knowledge communication) 중심 정리.
- AI scientist 시스템·mixed-initiative co-research·벤치마크·도메인 배포·오픈소스 인프라를 종합. 5 평가 차원(novelty, validity, impact, reliability, provenance)을 제안하고 AutoResearch autonomy가 도메인 조건적임을 — structured·executable·rapidly verifiable 환경에서 신뢰 가능, embodied·delayed·heterogeneous·윤리/제도적 책임 환경에서 한계 — 입증.
💡 핵심 아이디어
연구 자동화는 단일 task·tool로 측정되지 않고 인간-AI 협업의 control 재분배와 워크플로우 단계별 통합으로 평가돼야 하며, AutoResearch는 Vibe Research에서 AI-led로 이어지는 스펙트럼 위에서 5 차원으로 측정 가능하다.
🔬 기술적 접근법
- **방법론**: AutoResearch 정의 + 5 워크플로우 조건 + 5 평가 차원 종합 서베이.
- **핵심 기법**: (1) Vibe Research vs AI-led 구분, (2) 5 워크플로우 조건 — literature grounding/hypothesis/실험/검증/보고, (3) AI scientist·mixed-initiative·벤치마크·도메인 배포·인프라 정리, (4) 5 평가 차원(novelty·validity·impact·reliability·provenance), (5) 도메인 조건적 autonomy 분석.
📊 주요 결과
- AutoResearch autonomy가 structured·executable·rapidly verifiable 환경에서 더 신뢰 가능.
- Embodied·delayed·heterogeneous·ethical·institutional 환경에서는 한계.
- 5 평가 차원으로 다양한 시스템 종합 평가 가능.
- 분야 fragmentation 해소를 위한 공통 어휘·프레임워크 제공.
💭 의의 및 한계
**의의**: AutoResearch라는 스펙트럼 개념으로 분야 단편화 해소, 5 평가 차원의 공통 기준 제시, 도메인 조건적 autonomy 진단으로 현실적 기대치 정립. **한계**: 서베이 — 새로운 실험·기법 부재, 5 차원 측정 가능성의 구체화 후속 필요, 도메인 분류의 경계 모호성.
🚀 실용적 활용
- AI 과학자 시스템 평가·비교 표준.
- 연구 도구 도입 전 의사결정 가이드.
- 향후 AutoResearch 시스템 설계 framework.