ScientistOne: Towards Human-Level Autonomous Research via Chain-of-Evidence

Autonomous research agents produce competitive solutions and professional-looking manuscripts, yet their outputs contain verifiability failures undetectable by surface-level evaluation: fabricated citations, unreproducible scores, and method descriptions that diverge from the implementation. We address this through three contributions. First, Chain-of-Evidence (CoE), a verifiability framework requiring every claim to be traceable to its evidence source. Second, ScientistOne, an end-to-end autonomous research system that maintains evidence chains by construction throughout literature review, solution discovery, and paper writing. Third, CoE Audit, a post-hoc audit whose four integrity checks -- score verification, specification violation, reference verification, and method-code alignment -- apply uniformly to all systems. Across 75 papers spanning five systems and five frontier research tasks, every baseline exhibits at least one systematic failure mode: hallucinated reference rates reach 21%, score verification passes in as few as 42% of papers, and method-code alignment ranges from 20% to 80%. ScientistOne achieves zero hallucinated references (0/337), perfect score verification (12/12), and the highest method-code alignment (14/15), while matching or exceeding human expert performance on all five tasks. ScientistOne further generalizes to six additional tasks spanning medical imaging, fine-grained recognition, 3D perception, and language modeling, achieving state-of-the-art on Parameter Golf and gold medals on MLE-Bench tasks where baselines fail entirely.

📋 한 줄 요약

**[자율 연구 에이전트 / Chain-of-Evidence]** ScientistOne이 모든 claim을 evidence source에 traceable하게 강제하는 CoE 프레임워크로 75 논문·11 task에서 hallucinated reference 0/337, score verification 12/12 달성, 인간 expert 수준·MLE-Bench 금메달.

🎯 핵심 기여도

자율 연구 에이전트가 경쟁력 있는 solution과 전문가급 manuscript를 생성하지만 surface-level 평가로는 감지 불가능한 verifiability failure(허위 인용·재현 불가 score·구현과 다른 method 기술)를 포함한다는 문제 진단.
세 가지 contribution으로 해결 — (1) Chain-of-Evidence(CoE): 모든 claim이 evidence source까지 traceable하도록 요구하는 verifiability 프레임워크.
(2) ScientistOne: 문헌 조사·solution discovery·논문 작성 전 과정에서 evidence chain을 by construction으로 유지하는 end-to-end 자율 연구 시스템.
(3) CoE Audit: 4 integrity check(score 검증·specification 위반·reference 검증·method-code alignment)로 모든 시스템에 균일 적용 가능한 post-hoc 감사.

💡 핵심 아이디어

자율 연구의 신뢰성은 결과물의 외형이 아니라 모든 claim이 evidence까지 거슬러 추적 가능한지에 의해 결정되며, evidence chain을 시스템 설계 단계부터 by construction으로 유지하면 surface-level 검증으로는 잡히지 않는 fabrication·reproducibility failure를 원천 차단할 수 있다.

🔬 기술적 접근법

**방법론**: Chain-of-Evidence 프레임워크 + ScientistOne 시스템 + CoE Audit.
**핵심 기법**: (1) 모든 claim을 evidence source에 traceable하게 강제하는 CoE 규약, (2) End-to-end 파이프라인(literature review→solution discovery→paper writing)에 evidence chain을 by-construction 통합, (3) Score verification·specification violation·reference verification·method-code alignment의 4 integrity check, (4) 5 frontier research task에서 5 시스템 75 paper 비교, (5) MLE-Bench 등 6 추가 task(의료 영상·세밀 인식·3D perception·언어 모델링)로 일반화 검증.

📊 주요 결과

75 논문·5 시스템·5 frontier task에서 모든 baseline이 최소 하나의 systematic failure mode 노출 — hallucinated reference rate 21%, score verification pass 42%까지 낮음, method-code alignment 20~80%.
ScientistOne: hallucinated reference 0/337, score verification 12/12, method-code alignment 14/15 최고.
5 task 모두에서 인간 expert 성능 매치·초과.
6 추가 task에서 Parameter Golf SOTA, MLE-Bench 금메달(baseline은 전혀 실패).

💭 의의 및 한계

**의의**: 자율 연구 시스템의 "looks-good but unverifiable" 문제를 정량 노출, evidence chain을 시스템 설계 원리로 격상, audit가 모든 시스템에 적용 가능한 보편 도구 제공, 인간 expert 수준 도달의 첫 신뢰 가능 사례. **한계**: 11 task가 주로 ML·과학 응용 — 인문·실험과학 일반화는 미검증, evidence chain 유지의 운영 비용, audit의 4 check 외 failure mode 가능성.

🚀 실용적 활용

자율 연구 시스템 개발의 신뢰성 표준.
학술 manuscript의 자동 verifiability 감사.
AI 연구 보조 파이프라인의 by-construction 검증 통합.