AI Research Agents Narrow Scientific Exploration

AI research agents can now generate research ideas, design experiments, run code, and draft papers, raising the possibility of large-scale AI-assisted scientific discovery. Many current agent frameworks explicitly encourage the generation of novel and high-impact ideas. Yet it remains unclear whether AI-assisted ideation broadens scientific exploration or mainly concentrates around existing work. We study AI research agents as scientific search systems. Using four AI research-agent frameworks and six large language models, we generate 37,802 scientific ideas from shared seed literature across citation-defined research areas in AI and machine learning. We then compare the resulting AI ideas against human-authored papers from the same research areas, follow-on human research emerging from the same seed literature, and the seed literature itself. Across experiments, four consistent patterns emerge. First, AI-generated ideas are substantially more concentrated than human-authored papers from the same research areas. Second, AI-generated ideas remain much closer to their starting literature than later human follow-on work does. Third, papers most similar to AI-generated ideas tend to receive lower subsequent citations. Fourth, when AI-generated ideas differ from prior work, the differences arise primarily from recombining existing technical methods rather than introducing fundamentally new research questions. Overall, current AI research agents appear better suited to local elaboration than to broadening scientific exploration.

📋 한 줄 요약

**[AI 연구 에이전트 / 과학 탐색]** AI 에이전트 4 프레임워크·6 LLM에서 37,802 아이디어 분석, AI 생성 아이디어가 인간 논문보다 substantially 집중·seed에 가까이 머물고 follow-on citation이 낮음, novelty의 대부분이 새 질문이 아닌 기존 method recombination.

🎯 핵심 기여도

AI 연구 에이전트가 연구 아이디어 생성·실험 설계·코드 실행·논문 초안 작성을 수행, 대규모 AI 보조 과학 발견의 가능성을 제기하지만 AI 보조 ideation이 과학 탐색을 broaden하는지 vs 기존 연구 주변에 집중되는지 불명확.
AI 연구 에이전트를 scientific search system으로 연구, 4 AI 연구 에이전트 프레임워크와 6 large language model로 공유 seed literature에서 37,802개 과학 아이디어 생성, citation-defined AI·ML 연구 영역에 걸쳐 분석.
AI 아이디어를 동일 연구 영역의 인간 저자 논문·동일 seed에서 등장한 인간 follow-on 연구·seed literature 자체와 비교.
4 일관 패턴 노출 — (1) AI 생성 아이디어가 인간 논문보다 substantially 더 concentrated, (2) AI 아이디어가 시작 literature에 인간 follow-on보다 훨씬 가까이 머무름, (3) AI 아이디어와 가장 유사한 논문이 향후 citation을 낮게 받음, (4) AI 아이디어가 prior work와 다를 때 그 차이는 주로 기존 technical method의 recombination에서 비롯, fundamentally 새 연구 질문 제기보다.

💡 핵심 아이디어

AI 연구 에이전트는 ideation을 자동화하지만 그 출력은 통계적으로 집중·국소 elaboration에 치우치며, 새 연구 질문을 던지기보다 기존 method를 재조합하는 경향이 강해 현재 시스템은 과학 탐색을 broaden하기보다 좁히는 방향으로 작동한다.

🔬 기술적 접근법

**방법론**: AI 연구 에이전트를 scientific search system으로 다룬 대규모 실증 비교.
**핵심 기법**: (1) 4 AI 연구 에이전트 프레임워크 × 6 LLM 조합으로 37,802 아이디어 생성, (2) Citation-defined 연구 영역에서 공유 seed literature 사용, (3) 인간 저자 논문·인간 follow-on 연구·seed literature 3축 비교, (4) 아이디어 집중도·seed 유사성·citation·novelty 원천 등 다축 분석, (5) AI vs 인간 차이의 원인(새 질문 vs method recombination) 정량 분해.

📊 주요 결과

37,802 아이디어 생성·분석.
AI 생성 아이디어가 인간 논문 대비 substantially 더 집중된 분포.
AI 아이디어가 seed에 인간 follow-on보다 가까움.
AI 아이디어 유사 논문이 후속 citation을 낮게 받음.
AI novelty의 주된 원천은 새 질문이 아닌 기존 technical method recombination.

💭 의의 및 한계

**의의**: AI 연구 에이전트의 ideation 효과에 대한 첫 대규모 실증 진단, 4 프레임워크·6 LLM의 generality 확보, "broaden vs concentrate" 질문의 정량 답변, novelty의 origin 분해. **한계**: AI·ML 분야 중심 — 다른 과학 분야 일반화 미검증, 현재 세대 에이전트 분석으로 빠른 발전 가능성, citation을 quality proxy로 한 가정의 한계.

🚀 실용적 활용

AI 연구 에이전트 평가의 exploration 축 표준화.
새 질문 생성 능력 강화를 위한 시스템 개선 가이드.
과학 정책·연구 funding의 AI 보조 ideation 영향 평가.