Forecasting Scientific Progress with Artificial Intelligence

Artificial intelligence (AI) is increasingly embedded in scientific discovery, yet whether it can anticipate scientific progress remains unclear. To study this question, we introduce a temporally grounded evaluation framework for forecasting scientific progress under controlled knowledge constraints. We present CUSP (Cutoff-conditioned Unseen Scientific Progress), a multi-disciplinary and event-level benchmark that evaluates scientific forecasting in AI systems through feasibility assessment, mechanistic reasoning, generative solution design, and temporal prediction. Across 4,760 scientific events, we observe systematic and domain-dependent limitations in current frontier models. While models can identify plausible research directions from competing candidates, they fail to reliably predict whether scientific advances will be realized and systematically misestimate when they will occur. Performance is highly heterogeneous across domains, with the timing of AI progress more predictable than advances in biology, chemistry, and physics. Performance is largely insensitive to whether events occur before or after the training cutoff, suggesting these limitations cannot be explained solely by knowledge exposure in training data. Under controlled information access, additional pre-cutoff knowledge improves performance but does not close the gap to full-information settings, which becomes more pronounced for high-citation advances. Models also exhibit systematic overconfidence and strong response biases, indicating unreliable uncertainty estimation. Taken together, current AI systems fall short as predictive tools for scientific progress. Access to prior knowledge does not translate into reliable forecasting, and performance benefits more from post-event information than from forward-looking prediction.

한 줄 요약

**[Forecasting Scientific Progress / Benchmark]** CUSP 벤치마크가 4,760 과학 이벤트로 LLM의 과학 진보 예측 평가 -- frontier 모델이 실현 여부·시기 예측에 systematic 실패, 영역간 이질·overconfidence·약한 uncertainty 추정.

핵심 기여도

AI가 과학 발견에 점점 embedded되고 있지만 과학 진보를 예측할 수 있는지는 미명확하다는 핵심 질문 제기.
통제된 지식 제약 하에서 과학 진보 예측을 위한 시간 기반 평가 프레임워크 도입.
CUSP(Cutoff-conditioned Unseen Scientific Progress) 제시 -- 4,760 과학 이벤트의 multi-disciplinary, event-level 벤치마크: feasibility 평가·mechanistic 추론·generative solution 설계·temporal 예측 평가.
Frontier 모델의 systematic·domain-dependent 한계 관찰: 경쟁 후보 중 plausible 연구 방향 식별은 가능하나, 과학 진보가 실현될지 reliable 예측 못함·발생 시기 systematically misestimate.
영역별 큰 이질성 -- AI 진보의 timing이 생물·화학·물리 진보보다 더 예측 가능. Training cutoff 전후 발생 여부에 대체로 둔감(지식 노출만으로 설명 안됨). 통제된 정보 접근에서 추가 pre-cutoff 지식이 성능 개선하나 full-information 격차 안 닫힘(high-citation 진보에서 더 두드러짐). 모델이 systematic overconfidence·strong response bias 보임.

핵심 아이디어

LLM의 과학 진보 예측 능력은 단순 지식 노출이 아닌 forward-looking inference 자체에 결정적 결함이 있으며, AI 발전의 timing이 자연과학보다 예측 쉽고 high-citation 진보일수록 격차가 커지는 도메인 의존 패턴이 존재한다.

기술적 접근법

**방법론**: CUSP -- Cutoff-conditioned Unseen Scientific Progress 벤치마크.
**핵심 기법**: (1) 4,760 과학 이벤트의 multi-disciplinary 데이터, (2) Feasibility 평가·mechanistic 추론·generative solution 설계·temporal 예측 4축 평가, (3) Training cutoff 전후 controlled 지식 접근으로 노출 효과 분리, (4) Frontier 모델의 systematic·도메인 이질성 분석, (5) Overconfidence·response bias·uncertainty estimation 진단.

주요 결과

Frontier 모델이 과학 진보 realization 신뢰성 있게 예측 못함.
발생 시기를 systematically misestimate.
AI 진보의 timing이 biology·chemistry·physics보다 더 예측 가능.
Cutoff 전후 발생 여부에 성능 largely insensitive.
Pre-cutoff 지식 추가가 성능 개선하나 full-information 격차 안 닫힘, high-citation 진보에서 더 큼.
Systematic overconfidence·strong response bias.

의의 및 한계

**의의**: 과학 진보 예측 능력을 controlled로 측정하는 첫 multi-disciplinary 벤치마크, "현재 AI가 과학 forecasting 도구로서 부적합"이라는 명확한 결론, training data 노출과 진정한 forward-looking 추론의 분리. **한계**: 4,760 이벤트 큐레이션의 도메인 균형, event-level 평가의 fine-grained outcome 비교 한계, model family 일반화 추가 검증.

실용적 활용

AI 기반 과학 연구 정책 설계의 신뢰성 진단.
LLM forecasting 능력 평가 표준.
Pre-cutoff 지식 vs forward inference의 분리 측정.