IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications

A research idea may be novel, coherent, and scientifically plausible, yet its proposed method may remain insufficiently specified for faithful implementation. We study the codification readiness of implementation-facing research-method specifications, defined by whether they provide sufficient methodological information for a competent implementer or coding agent to construct the intended method without unsupported assumptions. We construct evidence-grounded specifications and their supported resolutions from papers, codebases, issue threads, and reproduction artifacts. We introduce IdeaAMBIG, a benchmark of 660 evidence-grounded instances: 163 real-world gaps from reproducibility reports and GitHub issues, and 497 controlled synthetic gaps injected into codification-ready references. IdeaAMBIG evaluates three capabilities: codification-readiness assessment, defect localization, and clarification action generation. Defect localization receives only the specification, whereas clarification additionally receives the annotated defect. Across 13 LLMs, the best model achieves 9.6% Macro Defect Recovery Rate on real-world instances but 80.6% Macro Clarification Action Success Rate when given the defect. In an oracle study, supplying the gold resolution raises the downstream codification-ready rate from 14% to 98%. Across all evaluated models, defect localization is the main bottleneck, with stronger clarification given the defect.

한 줄 요약

IdeaAMBIG는 연구 아이디어의 구현 준비 상태를 평가하기 위한 660개의 구체적 결함 인스턴스를 포함한 벤치마크로, LLM이 결함을 탐지하고 명확히 하기 어려움을 보여준다.

핵심 기여도

IdeaAMBIG 벤치마크를 제안: 163개의 실제 결함(재현 보고서, GitHub 이슈) + 497개의 제어된 합성 결함.
13개의 LLM을 평가하여, 결함 탐지 성능이 9.6% (Macro Defect Recovery Rate)에 불과함을 밝힘.
명확성 제공 시, 최고 모델의 명확화 성공률은 80.6% (Macro Clarification Action Success Rate)에 달함.
결함 탐지가 주요 병목이며, 명확화는 결함 정보가 주어질 경우 훨씬 효과적임을 밝힘.

핵심 아이디어

연구 아이디어는 독창적이고 과학적으로 타당할 수 있지만, 실제 구현을 위한 명확한 방법 설명이 부족할 수 있다. 이 연구는 구현 준비 상태(codification readiness)를 평가하는 새로운 개념을 도입하고, 이를 평가하기 위한 세 가지 능력—준비 상태 평가, 결함 위치 탐지, 명확화 행동 생성—을 정의한다. 구체적으로, 결함이 명시되지 않아 구현자가 가정을 도입하게 되면, 이는 신뢰성 있는 연구 자동화를 방해한다. IdeaAMBIG는 실제 결함과 제어된 합성 결함을 통해 이 문제를 정량적으로 평가한다.

기술적 접근법

**IdeaAMBIG 데이터셋**: 660개의 단일 결함 인스턴스로 구성됨. 실제 결함 163개는 GitHub 이슈와 재현 보고서에서 추출, 합성 결함 497개는 codification-ready 참조에서 하나의 구현-critical 세부사항을 변경하여 생성됨.
**평가 태스크**: 3가지—준비 상태 평가, 결함 위치 탐지, 명확화 행동 생성.
**LLM 평가**: GPT-5.6-Sol, Claude Sonnet 5, Gemini 3.1 Pro Preview 등 13개 모델을 사용.
**결함 탐지**: 입력에 결함 정보가 주어지지 않아, 모델이 독립적으로 결함을 찾아야 함.
**명확화**: 결함 정보가 주어지면, 모델이 명확화 요청을 생성함.

주요 결과

**결함 탐지 성능**: 13개 LLM 중 최고 모델이 실제 인스턴스에서 9.6%의 Macro Defect Recovery Rate를 달성.
**명확화 성능**: 결함 정보가 주어질 경우, 최고 모델의 Macro Clarification Action Success Rate는 80.6%에 달함.
**Oracle 연구**: 결함 정보를 제공하면, codification-ready 비율이 14%에서 98%로 상승함.
**결함 탐지가 병목**: 모든 모델에서 결함 탐지가 가장 어려운 단계이며, 명확화는 결함 정보가 주어질 경우 훨씬 효과적임.

의의 및 한계

IdeaAMBIG는 연구 아이디어의 구현 준비 상태를 정량적으로 평가하는 데 기여하며, LLM이 결함을 탐지하고 명확화하는 능력을 측정하는 첫 번째 벤치마크이다. 특히, 실제 연구 재현 과정에서 발생하는 결함을 반영한 데이터셋은 연구 자동화의 신뢰성을 높이는 데 중요한 기초가 될 수 있다. 그러나, 결함 탐지 성능이 여전히 낮고, 모델이 독립적으로 결함을 찾아내는 능력이 제한적이라는 점은 한계로 작용한다. 또한, 일부 모델은 명확화 요청이 부족하거나, 가정을 도입하는 경향이 있어, 신뢰성 있는 연구 자동화를 위해서는 추가적인 개선이 필요하다.

실용적 활용

IdeaAMBIG는 연구 아이디어의 구현 가능성 평가, 연구 자동화 도구 개발, 연구 재현성 향상에 활용될 수 있다. 특히, 연구자들이 아이디어를 구현하기 전에 명확성 검증을 수행하거나, LLM 기반 연구 도우미가 결함을 탐지하고 명확화 요청을 생성하는 데 사용될 수 있다.