ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes

Large language models have made research ideation increasingly accessible, yet effective idea development requires more than generating candidate directions. Researchers must ground a problem in current literature, identify meaningful bottlenecks, differentiate from existing solutions, and evaluate risks before committing to implementation. We present ResearchStudio-Idea as a reusable skill suite for this first mile of research ideation. The suite includes Paper-Search, a standalone multi-source literature search skill; Scoop-Check, a standalone prior-art collision checker for novelty claims; and IdeaSpark, the end-to-end skill that composes evidence grounding, pattern-guided generation, collision retrieval, audit, and idea-card rendering into one workflow. IdeaSpark is constructed from a corpus of 1,947 machine learning conference papers collected from ICLR, ICML, and NeurIPS between 2021 and 2025, including Oral papers, a separately tracked high-citation subset, and rejected submissions. Analysis of these outcomes reveals 31 recurring ideation sub-patterns, consolidated into 15 reusable ideation patterns. Each pattern is operationalized as a structured card containing research contexts, bottleneck types, differentiation strategies, supporting precedents, and common failure modes. Given a research problem and an evidence bundle, IdeaSpark evaluates evidence readiness, reconstructs the surrounding research context, identifies unresolved bottlenecks, selects relevant patterns, instantiates one candidate direction, retrieves potentially conflicting prior work, and performs outcome-informed auditing. This workflow transforms reusable ideation patterns into traceable research proposals. Blind automated-judge evaluations show that IdeaSpark consistently produces stronger research proposals than no-skill and generic-skill baselines while maintaining competitive novelty.

한 줄 요약

ResearchStudio-Idea는 ML 연구 아이디어 개발을 위한 3개의 재사용 가능한 스킬로 구성된 시스템으로, 1,947개의 학회 논문을 기반으로 15개의 아이디어 패턴을 생성하고 아이디어 생성-검증 워크플로우를 제공한다.

핵심 기여도

**IdeaSpark**를 통해 1,947개의 ICLR, ICML, NeurIPS 논문(2021–2025)을 분석하여 15개의 아이디어 패턴과 31개의 하위 패턴을 유도.
각 패턴은 연구 맥락, 차별화 전략, 실패 모드 등을 포함한 **구조화된 카드**로 구성.
**자동 평가 결과**, IdeaSpark는 기존 기술 대비 아이디어 품질을 향상시키며, **새로움 유지**.
**Scoop-Check**를 통해 기존 연구와의 충돌을 체계적으로 점검.

핵심 아이디어

ResearchStudio-Idea는 ML 연구 아이디어 개발의 첫 단계를 구조화하고, 기존 연구와의 충돌을 방지하기 위해 **패턴 기반 아이디어 생성**과 **사전 검증**을 결합한 시스템이다. 핵심 아이디어는 다음과 같다:

1. **패턴 기반 아이디어 생성**: 1,947개의 학회 논문에서 추출한 15개의 아이디어 패턴은 연구 맥락, 차별화 전략, 실패 모드 등을 포함한 **구조화된 카드**로 제공된다. 이는 연구자에게 아이디어의 실행 가능성과 차별성을 명확히 보여준다.
2. **실패 모드 분석**: 채택되지 않은 논문에서 추출한 실패 모드를 포함함으로써, 아이디어의 **실패 예측 가능성**을 높인다.
3. **사전 충돌 점검**: Scoop-Check는 기존 연구와의 충돌 여부를 **자동으로 점검**하여 아이디어의 독창성을 보장한다.

기술적 접근법

**IdeaSpark**는 4단계의 실증 파이프라인을 통해 개발됨:

1. **데이터 수집**: ICLR, ICML, NeurIPS 논문 1,947개 (2021–2025)를 OpenReview와 Semantic Scholar에서 수집.
2. **전략 추출 및 재작성**: 각 논문의 전략을 추출하고, 도메인-비특정적 형태로 재작성.
3. **임베딩 및 클러스터링**: `text-embedding-3-large` 모델을 사용하여 전략 시그니처를 임베딩하고, **HDBSCAN** 클러스터링을 통해 패턴을 유도.
4. **패턴 카드 생성**: 15개의 아이디어 패턴과 31개의 하위 패턴을 포함한 **구조화된 카드** 생성.

**모델 사용**: Claude Opus 4.7, Claude Sonnet 4.6, OpenAI `text-embedding-3-large` 등 사용.
**두 단계 설계**: 런타임 티어(lean skill specification, retrieval hooks 등)와 증거 티어(패턴 카드, 실패 모드 목록 등)로 분리.

주요 결과

**IdeaSpark**는 **자동 평가**에서 기존 기술 대비 아이디어 품질을 향상시키며, **새로움 유지**.
**SPECTER2 대비**, 일반적인 paraphrase 인코더가 **silhouette +0.15 개선**.
**Stage-2 재작성**이 토픽 기반 클러스터링을 제거하고, **HDBSCAN 스윕** 내에서 안정적인 클러스터링을 유지.
**IdeaSpark**는 15개의 아이디어 패턴과 31개의 하위 패턴을 기반으로 **실행 가능한 아이디어 카드**를 생성.

의의 및 한계

ResearchStudio-Idea는 ML 연구 아이디어 개발의 첫 단계를 **구조화하고, 증거 기반으로 실행 가능하게 만든다**. 특히, **실패 모드 분석**을 통해 아이디어의 위험성을 사전에 평가할 수 있으며, **Scoop-Check**를 통해 기존 연구와의 충돌을 방지함으로써 연구 독창성을 보장한다.

하지만, 이 시스템은 **실험적 판단이나 인간 리뷰어의 선호도**를 반영하지 않으며, **ML 학회 외부의 일반화 가능성**도 아직 검증되지 않았다. 또한, **LLM이 채택 논문을 생성하거나 실험적 판단을 대체하지는 않는다**는 점에서 기술적 한계가 존재.

실용적 활용

ResearchStudio-Idea는 ML 연구자들이 **논문 아이디어를 구조화하고, 충돌을 방지하며, 실패 가능성을 사전에 평가**할 수 있도록 도와준다. 특히, **초기 아이디어 단계에서의 효율성과 체계성**을 높일 수 있으며, **학회 제출 전 아이디어 검증**에 유용하게 활용될 수 있다.