IDEAgent: Agentic Quality-Diversity Search for Research Idea Generation

Large Language Models (LLMs) have significantly automated the process of scientific discovery over the past few years. However, existing systems share one core limitation: they generate and optimize ideas independently for either Quality or Diversity. This often leads to the generation of ideas in close proximity to one another or to a large set of trivial, unsound, or unclear concepts. In this work, we instead argue that research ideation should be treated as a conjunction of both objectives and framed as a Quality-Diversity (QD) search. In line with this perspective, we introduce IDEAgent, a multi-agent framework that manages the evolution of ideas through lineages. We jointly drive Quality using multi-objective feedback for dedicated repair and refinement, while Diversity is achieved through lightweight sequential memory and explicit comparison against completed ideas, their historical ancestors, and rejected proposals. To systematically evaluate this QD conjunction, we develop Yield, a joint metric that computes the largest set of mutually diverse ideas that satisfy a predetermined quality threshold. Finally, through evaluations across 32 topics spanning 8 domains of Computer Science, we show that IDEAgent outperforms the best baseline by 3.89x on Yield, while achieving non-zero Yield on 8x more topics. We further corroborate these findings through an analysis of quality improvements, showing that repair and refinement are crucial for building logical rigor and clarity while preserving non-obviousness. To encourage future research on QD-search-based ideation, we open-source IDEAgent at https://github.com/declare-lab/IDEAgent.

한 줄 요약

IDEAgent는 과학적 아이디어 생성을 Quality-Diversity(QD) 탐색으로 모델링한 다중 에이전트 프레임워크로, 32개 주제에서 Yield 지표 기준 3.89배 성능 향상을 보인다.

핵심 기여도

IDEAgent는 Quality와 Diversity를 병렬적으로 최적화하는 QD 탐색 프레임워크로, 아이디어의 유전자열(lineage)을 관리한다.
Quality는 다목적 피드백을 통한 repair 및 refinement로, Diversity는 가벼운 순차 메모리와 기존 아이디어와의 비교를 통해 달성된다.
새로운 평가 지표 Yield를 제안하여, Quality와 Diversity를 동시에 만족하는 최대 아이디어 집합을 측정한다.
32개 컴퓨터 과학 주제에서 IDEAgent는 최고 베이스라인 대비 Yield 3.89배 향상, 8배 더 많은 주제에서 non-zero Yield 달성.

핵심 아이디어

기존 연구 아이디어 생성 시스템은 Quality와 Diversity를 독립적으로 최적화하여, 유사한 아이디어 반복 생성 또는 무의미한 아이디어 집합을 유발한다. IDEAgent는 이 문제를 해결하기 위해 QD 탐색을 도입하여, Quality와 Diversity를 동시에 고려하는 아이디어 생성 프레임워크를 제안한다. Quality는 아이디어의 논리적 엄밀성(soundness), 명확성(clarity), 비직관성(non-obviousness)을 기준으로, Diversity는 아이디어 간의 상호 독립성을 측정한다. 이는 인간 연구자들이 아이디어를 발전시키는 방식과 유사하며, 아이디어의 유전자열(lineage)을 추적하여 진화 과정을 관리한다.

기술적 접근법

**IDEAgent**: 다중 에이전트 프레임워크로, 아이디어의 유전자열(lineage)을 관리하며, Quality와 Diversity를 병렬적으로 최적화.
**Quality 개선**: repair 및 refinement 단계에서 다목적 피드백을 통해 아이디어의 soundness, clarity, non-obviousness를 개선.
**Diversity 확보**: lightweight 순차 메모리와 기존 아이디어(완료, 거부, 역사적 아이디어)와의 비교를 통해 아이디어 간 중복 방지.
**Yield 지표**: Quality 기준(비직관성, soundness, clarity)을 만족하는 아이디어 중, Diversity 기준(상호 독립성)을 만족하는 최대 집합을 측정.
**실험 설정**: 8개 컴퓨터 과학 도메인에서 32개 주제를 평가하며, greedy maximum diversity selection 알고리즘을 사용하여 최종 주제 집합을 선정.

주요 결과

IDEAgent는 32개 주제에서 최고 베이스라인 대비 Yield 지표 3.89배 향상.
IDEAgent는 8배 더 많은 주제에서 non-zero Yield를 달성.
Quality 개선 파이프라인은 internal 및 external 평가자 모두 soundness, clarity, non-obviousness에서 지속적 개선을 보여.

의의 및 한계

IDEAgent는 과학적 아이디어 생성을 QD 탐색 문제로 모델링함으로써, 기존 시스템이 단일 Quality 또는 Diversity에 집중하는 한계를 극복한다. 특히, 아이디어의 유전자열(lineage) 관리와 repair/refinement 메커니즘은 아이디어의 논리적 엄밀성과 독창성을 유지하는 데 기여한다. 그러나 IDEAgent는 여전히 인간 연구자와의 상호작용을 고려하지 못하며, 생성된 아이디어의 실험 가능성이나 실제 적용 가능성에 대한 평가가 부족하다는 한계가 있다.

실용적 활용

IDEAgent는 연구 초기 단계에서 다양한 아이디어를 생성하고, 그 중 고품질 아이디어를 추출하는 데 유용하게 활용될 수 있다. 특히, 연구자들이 아이디어의 독창성과 논리적 엄밀성을 동시에 고려해야 하는 상황에서 효과적이다. 또한, QD 탐색 기반의 아이디어 생성 프레임워크는 AI 기반 연구 도구 개발, 교육용 아이디어 생성 시스템 등 다양한 분야에 적용 가능하다.