llm mode-collapse diversity-metrics biomedicine cell-communication brain-region-interactions oligonucleotide-prediction analogical-reasoning
Abstract
Autonomous science promises to augment scientific discovery, particularly in complex fields like biomedicine. However, this requires AI systems that can consistently generate novel and diverse solutions to open-ended problems. We evaluate LLMs on the task of open-ended solution generation and quantify their tendency to mode collapse into low-diversity generations. To mitigate this mode collapse, we introduce analogical reasoning (AR) as a new approach to solution generation. AR generates analogies to cross-domain problems based on shared relational structure, then uses those analogies to search for novel solutions. Compared to baselines, AR discovers significantly more diverse generations (improving solution diversity metrics by 90-173%), generates novel solutions over 50% of the time (compared to as little as 1.6% for baselines), and produces high-quality analogies. To validate the real-world feasibility of AR, we implement AR-generated solutions across four biomedical problems, yielding consistent quantitative gains. AR-generated approaches achieve a nearly 13-fold improvement on distributional metrics for perturbation effect prediction, outperform all baselines on AUPRC when predicting cell-cell communication, infer brain region interactions with a high Spearman correlation ($\rho$=0.729) to published methods, and establish state-of-the-art performance on 2 datasets for oligonucleotide property prediction. The novel and diverse solutions produced by AR can be used to augment the search space of existing solution generation methods.
한국어 요약
📋 한 줄 요약
**[과학 AI / 창의성]** 모드 붕괴(mode collapse)에 빠진 LLM의 과학적 솔루션 생성을 cross-domain 유추(analogical reasoning, AR)로 풀어 다양성·신규성·도메인 성능을 동시에 끌어올리는 새로운 솔루션 생성 기법 제안.
🎯 핵심 기여도
- 열린 문제 솔루션 생성에서 LLM의 mode collapse 경향을 정량 평가하고 진단.
- 공유 관계 구조 기반 cross-domain analogy를 활용해 새로운 솔루션 공간을 탐색하는 AR 기법 도입.
- AR이 baseline 대비 다양성 지표를 90~173% 개선하고, 신규 솔루션 비율을 1.6%에서 50% 이상으로 끌어올림.
- 4개 생물의학 문제에서 AR-생성 솔루션을 실제 구현해 분포 지표 약 13배 향상, AUPRC SOTA, 뇌 영역 상호작용 추론 $\rho=0.729$, oligonucleotide property 예측 2개 데이터셋 SOTA 등 실세계 이득 실증.
💡 핵심 아이디어
LLM의 mode collapse는 같은 도메인 내에서 가능성을 좁히기 때문이다. cross-domain analogy를 통해 다른 분야 문제의 관계 구조를 매핑해오면, 동일 도메인에서는 떠올리지 못할 신규 접근을 체계적으로 탐색할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: LLM에 cross-domain 유추 생성을 명시적으로 유도하는 다단계 프롬프트 + 도메인 적용 단계.
- **핵심 기법**: 공유 relational structure 식별을 통한 analogy 생성, analogy를 기반으로 솔루션을 탐색하는 search, 다양성·신규성·품질 지표로 후보 평가, 4개 생물의학 문제에 대한 실제 구현·정량 검증.
📊 주요 결과
- 솔루션 다양성 지표 90~173% 개선.
- 신규 솔루션 비율 50%+ (baseline 1.6%).
- perturbation effect prediction에서 분포 지표 약 13배 향상.
- cell-cell communication AUPRC에서 모든 baseline 능가.
- 뇌 영역 상호작용 추론 Spearman $\rho=0.729$.
- oligonucleotide property 예측 2개 데이터셋 SOTA.
💭 의의 및 한계
**의의**: LLM을 단순 답변 생성기를 넘어 과학적 발견의 창의성 보조 도구로 격상시키는 일반 기법 제시. **한계**: 평가가 생물의학 도메인에 편중되며, analogy의 품질·타당성 검증을 위한 전문가 개입이 여전히 필요.
🚀 실용적 활용
- 신약 후보 발굴·표적 가설 생성에서 AI 보조 hypothesis-space 확장.
- 학제 간 연구에서 cross-domain method transfer를 자동 제안하는 도구.
- 기존 솔루션 생성 파이프라인의 search space augmentation 모듈.