Teaching Language Models to Forecast Research Success Through Comparative Idea Evaluation

As language models accelerate scientific research by automating hypothesis generation and implementation, a new bottleneck emerges: evaluating and filtering hundreds of AI-generated ideas without exhaustive experimentation. We ask whether LMs can learn to forecast the empirical success of research ideas before any experiments are run. We study comparative empirical forecasting: given a benchmark-specific research goal and two candidate ideas, predict which will achieve better benchmark performance. We construct a dataset of 11,488 idea pairs grounded in objective outcomes from PapersWithCode. While off-the-shelf 8B-parameter models struggle (30% acc.), SFT dramatically boosts performance to 77.1%, outperforming GPT-5 (61.1%). By framing evaluation as a reasoning task via Reinforcement Learning with Verifiable Rewards (RLVR), we train models to discover latent reasoning paths, achieving 71.35% acc. with interpretable justifications. Through additional ablations and out-of-distribution tests, we show robustness to surface-level heuristics and transfer to both a cross-domain time-split test set and an independently constructed test set. Our results demonstrate that compute-efficient small language models can serve as effective, objective verifiers, offering a scalable path for autonomous scientific discovery.

한 줄 요약

**[Research Forecasting / Comparative Idea Eval]** SFT로 8B LM이 PapersWithCode 기반 11,488 idea pair에서 77.1% 정확도로 연구 아이디어 비교 forecasting, GPT-5(61.1%) 능가하며 RLVR로 71.35% 정확도·interpretable justification 동시 제공.

핵심 기여도

LM이 hypothesis generation·implementation 자동화로 과학 연구를 가속하면서 새 병목 부상 — 수백 개 AI 생성 아이디어를 exhaustive 실험 없이 evaluate·filtering. LM이 실험 전에 연구 아이디어의 empirical 성공을 forecast 학습할 수 있는지 질문.
Comparative empirical forecasting 연구 — benchmark-specific 연구 목표와 두 후보 아이디어가 주어졌을 때 어느 쪽이 더 나은 benchmark 성능을 달성할지 예측, PapersWithCode의 objective 결과에 grounded된 11,488 idea pair 데이터셋 구축.
Off-the-shelf 8B 모델은 30% 정확도로 struggle, SFT가 77.1%로 dramatically boost해 GPT-5(61.1%)도 outperform.
평가를 reasoning task로 framing하여 RLVR(Reinforcement Learning with Verifiable Rewards)로 latent reasoning path를 discover하도록 학습 — 71.35% 정확도와 interpretable justification 동시 제공. Surface-level heuristic에 대한 robustness·cross-domain time-split·independently 구축 test set 전이도 입증.

핵심 아이디어

연구 아이디어의 empirical 성공 예측은 정답 정의가 가능한 PapersWithCode 결과를 활용하면 small LM도 SFT·RLVR로 GPT-5보다 더 정확하고 interpretable한 verifier가 될 수 있으며, 이것이 autonomous 과학 발견의 scalable 경로다.

기술적 접근법

**방법론**: SFT + RLVR + 11,488 PapersWithCode idea pair 데이터셋.
**핵심 기법**: (1) Benchmark-specific 연구 목표·두 후보 아이디어의 comparative pair 형식, (2) PapersWithCode objective 결과 기반 11,488 pair 데이터셋, (3) Off-the-shelf 8B 모델 baseline, (4) SFT로 정확도 boost, (5) RLVR(Reinforcement Learning with Verifiable Rewards)로 latent reasoning path discovery·interpretable justification 생성.

주요 결과

Off-the-shelf 8B 모델 baseline: 30% 정확도.
SFT: 77.1% 정확도.
GPT-5: 61.1% 정확도(SFT 8B가 outperform).
RLVR: 71.35% 정확도 + interpretable justification.
Surface-level heuristic robust·cross-domain time-split·independent test set 전이 확인.

의의 및 한계

**의의**: Small LM이 GPT-5 능가하는 verifier 가능성 입증, compute-efficient autonomous science 경로 제시, RLVR로 interpretable·정확도 trade-off 균형. **한계**: PapersWithCode에 grounded되어 다른 평가 metric·도메인 일반화 별도 검증, comparative pair에 한정(단일 아이디어 절대 평가 미커버), 새 분야·새 metric에 대한 추론 한계.

실용적 활용

AI 기반 연구 idea filtering·prioritization.
자동 연구 파이프라인의 verifier.
Autonomous 과학 발견 시스템의 평가 컴포넌트.