Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation

Scientific ideas rarely start from a blank page. They inherit mechanisms, repair known limitations, and recombine pieces of earlier work, much like biological genomes. Current benchmarks still say little about whether AI systems can follow this inheritance structure. We present IdeaGene-Bench (IG-Bench), a benchmark for scientific lineage reasoning and lineage-grounded idea generation. IG-Bench is organized around the IdeaGene framework: each paper or proposal is represented as a set of minimal, typed, evidence-grounded Idea Genome objects, and a GenomeDiff aligns these objects to record inheritance, mutation, loss, external import, and novel insertion under six operational evolutionary dynamics. The benchmark contains 1,961 golden lineage traces, 1,085 curated Idea Genome objects, and 920 pairwise GenomeDiff records across 10 scientific domains. It supports two evaluations. IG-Exam (42 task types, 1,029 instances) tests closed-form lineage reasoning across Idea Genome abstraction, inheritance tracing, evolutionary reasoning, and lineage verification. IG-Arena evaluates generation with a lineage-conditioned Population-Evolution Score(PES), asking whether a proposal can be inserted as a coherent descendant of a given lineage population: it should inherit the right Idea Genome objects, vary meaningfully from nearby work, and offer selection value for future research. Experiments on 14 LLM-based scientists expose a compositional bottleneck. The strongest system reaches only 27.3% exact accuracy on lineage reasoning, and structured lineage context reshuffles system rankings rather than helping every participant uniformly.

한 줄 요약

과학 아이디어의 유전적 계보 구조를 평가하는 새로운 벤치마크, IdeaGene-Bench(IG-Bench)를 제시한다.

핵심 기여도

IdeaGene-Bench(IG-Bench)라는 과학적 계보 추론과 계보 기반 아이디어 생성을 평가하는 새로운 벤치마크를 제시.
10개 과학 분야에 걸쳐 1,961개의 금색 계보 추적, 1,085개의 Idea Genome 객체, 920개의 GenomeDiff 기록 포함.
IG-Exam과 IG-Arena라는 두 가지 평가 프레임워크를 통해 계보 추론과 생성 능력을 체계적으로 평가.
14개의 LLM 기반 시스템 실험에서 최고 시스템이 계보 추론 정확도 27.3%에 그침.

핵심 아이디어

과학 아이디어는 유전 구조처럼 기존 아이디어를 상속, 변이, 결합하며 진화한다. 이를 모방한 IdeaGene 프레임워크는 각 논문을 유전적 객체로 표현하고, GenomeDiff를 통해 계보 관계를 추적한다. 이는 기존 AI 시스템이 과학적 계보 구조를 이해하고 생성하는 능력을 평가하는 데 기초가 된다. IdeaGene-Bench는 이러한 구조를 기반으로 과학적 추론과 생성을 동시에 평가하는 첫 시도이다.

기술적 접근법

**IdeaGene 프레임워크**: 논문을 최소, 타입화된, 증거 기반 Idea Genome 객체로 표현.
**GenomeDiff**: 상속, 변이, 손실, 외부 도입, 새로운 삽입 등을 기록하는 6가지 진화 동역학 기반.
**IG-Exam**: 42개 태스크 유형, 1,029개 인스턴스로 구성된 폐쇄형 추론 평가.
**IG-Arena**: Population-Evolution Score(PES)를 기반으로 한 생성 평가.
**실험**: 14개의 LLM 기반 과학 시스템을 대상으로 평가.

주요 결과

IG-Exam에서 최고 시스템의 정확도는 27.3%로, 계보 추론 능력이 제한적임을 보여줌.
구조화된 계보 컨텍스트는 모든 시스템의 성능을 균일하게 향상시키지 못하고, 시스템 간 순위를 재정렬함.
IG-Arena에서 제안된 아이디어가 기존 계보와 일관되게 통합되는지, 유의미한 변이를 보이는지, 미래 연구에 기여하는지를 평가.

의의 및 한계

IdeaGene-Bench는 과학적 아이디어의 진화 구조를 AI가 이해하고 생성하는 능력을 체계적으로 평가하는 데 기여한다. 특히, 기존 벤치마크가 계보 구조를 다루지 못한 점을 보완한다. 그러나 현재 실험에서 AI 시스템의 성능이 낮아, 이 분야에서의 기술적 한계를 명확히 드러낸다. 또한, 데이터셋이 10개 과학 분야에 제한되어 있어 일반화 가능성에 제약이 있을 수 있다.

실용적 활용

IdeaGene-Bench는 과학 연구의 아이디어 생성 및 진화 과정을 AI가 모방하고 평가하는 데 활용될 수 있다. 연구자들이 과거 아이디어를 기반으로 새로운 아이디어를 설계하거나, AI가 과학적 창의성을 지원하는 시스템 개발에도 기초 자료로 사용될 수 있다.