Measuring the Gap Between Human and LLM Research Ideas

LLMs are increasingly used to brainstorm research ideas, but existing evaluations mostly judge individual ideas by novelty, feasibility, or expert preference. We instead ask: how far are current LLM-generated ideas from human researchers? To characterize this gap, we build a large-scale evaluation framework for ideation from high-quality human research papers. For each paper, we reverse-engineer a small set of closely related prior works that likely inspired its core idea. LLMs are then prompted to generate a new idea from the set of paper titles and summaries. We introduce a two-axis research-taste taxonomy to profile each idea by its opportunity pattern and research paradigm, and use it to quantify the divergence between human and LLM ideas. Across idea sets generated by different LLMs, we observe a consistent distributional gap: LLM ideas are disproportionately concentrated around bridge-like opportunities and synthesis methods, whereas the human paper reference distribution spreads more broadly across ways of framing gaps and constructing contributions. This result suggests that strong LLMs can produce a range of reasonable ideas, but that range remains narrower than, and systematically shifted relative to, human research taste.

한 줄 요약

LLM이 생성한 연구 아이디어는 인간 연구자에 비해 연구 맛의 분포가 좁고, 통합 및 종합적 접근에 집중된다.

핵심 기여도

인간 연구 아이디어와 LLM 아이디어 간의 분포 차이를 측정하기 위한 대규모 평가 프레임워크를 제안.
두 축(기회 패턴, 연구 패러다임)을 기반으로 한 연구 맛 세분화 분류법(세부 모듈명: `research-taste taxonomy`)을 도입.
LLM 아이디어가 인간 아이디어보다 통합 및 종합적 접근(bridge-like opportunities, synthesis methods)에 집중된다는 통계적 차이를 밝힘. 예: 인간 아이디어 중 연결 기반 동기는 12.1%, 종합적 방법은 5.1%인 반면, LLM 아이디어는 각각 47.1~64.2%, 22.5~38.7%.
LLM 아이디어가 인간 아이디어보다 세부성과 다양성이 낮고, 템플릿화 경향이 강함을 밝힘.

핵심 아이디어

기존 연구는 LLM 아이디어를 개별적으로 평가하는 데 초점을 맞추었으나, 본 연구는 **분포적 관점**(distributional view)을 도입하여 LLM이 생성하는 아이디어 집합 전체의 패턴을 분석한다. 이는 단순히 아이디어의 창의성이나 실행 가능성에만 의존하는 평가 방식을 넘어, **LLM이 인간 연구자와 비교했을 때 어떤 종류의 문제를 반복적으로 제시하고, 어떤 방법론적 패러다임을 사용하는지**를 파악하는 데 목적이 있다.

이를 위해, 연구자들은 실제 논문에서 핵심 아이디어를 추출하고, 해당 아이디어가 기반된 이전 연구들을 역추적한 후, LLM에게 동일한 문맥에서 새로운 아이디어를 생성하도록 유도한다. 생성된 아이디어는 **동기**(motivation)와 **방법**(method)으로 분류되며, 이들을 `research-taste taxonomy`를 통해 두 축(기회 패턴, 연구 패러다임)으로 분류하여 분석한다. 이 분류는 NSF, NIH, DARPA 등의 연구 가이드라인을 기반으로 전문가가 개발한 것으로, 머신러닝과 자연과학 분야 모두에 적용 가능하도록 반복 검증되었다.

기술적 접근법

**평가 프레임워크**: 실제 논문에서 핵심 아이디어와 이전 연구를 추출한 후, LLM에게 동일한 문맥에서 아이디어를 생성하도록 유도.
**아이디어 분류**: 생성된 아이디어는 `research-taste taxonomy`를 통해 두 축(기회 패턴, 연구 패러다임)으로 분류.
**LLM 실행 설정**: 온도(temperature) 0.6, top-p 0.95, top-k 20, 최대 2,048 토큰 생성. GPT API는 온도 1.0, JSON 스키마 제약 사용.
**임베딩 분석**: Qwen3-Embedding-4B 모델 사용, 2,560차원, 최대 길이 512, 배치 크기 12, bfloat16, last-token pooling.
**분석 파라미터**: TF-IDF 기반의 아키타입 클러스터링, MiniBatchKMeans, 5-fold 교차 검증, 로지스틱 회귀 사용.

주요 결과

인간 아이디어는 LLM 아이디어보다 두 축(기회 패턴, 연구 패러다임)에서 더 높은 정규화 엔트로피(normalized entropy)를 보임.
인간 아이디어 중 연결 기반 동기(bridge-like opportunities)는 12.1%, 종합적 방법(synthesis methods)은 5.1%인 반면, LLM 아이디어는 각각 47.1~64.2%, 22.5~38.7%로 현저히 높음.
LLM 아이디어는 템플릿화 경향이 강하고, 세부성과 다양성이 낮은 것으로 나타남.
이 패턴은 모델 가족과 과학 분야를 넘어서 일관되게 나타남.

의의 및 한계

본 연구는 LLM의 연구 아이디어 생성 능력을 분포적 관점에서 평가하는 새로운 프레임워크를 제시하며, LLM이 인간 연구자와 비교했을 때 아이디어의 범위와 다양성에서 한계가 있음을 밝혔다. 이는 향후 LLM 기반 연구 도구가 단순히 아이디어 생성의 양적 능력을 넘어, 질적 다양성과 세부성을 갖춘 방향으로 발전해야 함을 시사한다.

한편, 본 연구는 실제 논문에서 추출한 아이디어와 LLM 생성 아이디어 간의 비교에 초점을 맞추었으나, 아이디어의 실행 가능성이나 장기적 영향력에 대한 평가는 포함되지 않았다. 또한, 평가에 사용된 LLM은 주로 영어 기반 모델이며, 다국어 및 비영어 연구 맥락에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

본 연구는 연구 아이디어 생성을 위한 LLM 도구의 개선 방향을 제시하며, 특히 연구자들이 아이디어의 다양성과 세부성을 강화할 수 있도록 도와줄 수 있다. 또한, 자동화된 연구 에이전트나, 아이디어 브레인스토밍 도구 개발에 활용될 수 있으며, 연구 맥락에서 LLM의 역할을 더 정교하게 정의하는 데 기여할 수 있다.