ScienceIDE: Turning World's Scientific Codebase into Agent Learnable Environments
Hejia Geng, Zesen Huang, Haoyang Li, Wenbin Li, Koutian Wu, Zihan Zhou, Yuanbo Pang, Weihao Liu, Zigong Xu, Zhiping Li, Zongzheng Zhang, Chuanfei Dong, Jiankai Sun, Tianzhe Zheng, Fengyu Xie, Yue Ma, Yueheng Shi, Tong Xie, Zonglin Di, Xianrong Liu, Qucheng Gao, Yimin Liu, Jiaming Pan, Sheng Huang, Xiao-Han Ma, Lanqing Yuan, Zhenlin Zhu, Ziang Liu, Ziyang Xu, Junkai Wang, Kangkai Liang, Jiayi Xian, Zehong Zhao, Liuwei Xu, Jingxu Xie, Peijin Zhang, Qiang Gao, Chengyi Xing, Zhe Zhao, Xi Wang, Yaopeng Xing, Xing Meng, Zhenfei Yin, Yingcheng Wu, Ling Yang
arXiv:2609.19134 · 2026-09-17 공개 · arXiv · PDF
reinforcement-learning code-generation model-training agent-learning phai-ide scientific-experience-bottleneck scientific-verification scienceide
Abstract
Scientific code repositories encode decades of human knowledge in executable models, methods, and tools. Yet fragmented toolchains, implicit domain conventions, and specialized correctness criteria make this knowledge difficult to convert into reliable learning experience-a challenge we call the scientific experience bottleneck. We introduce ScienceIDE, infrastructure for turning the world's scientific code into programmable environments for scientific agents. Guided by expert-defined scientific cases and acceptance criteria, agents transform repositories into executable environments that support task generation, execution, and scientific verification. These environments provide a shared foundation for supervised fine-tuning, reinforcement learning, and evaluation. Using verified interaction trajectories, we train PhAI-IDE-72B, PhAI-IDE-9B, and PhAI-IDE-4B. The model family shows gains in held-out scientific-code repair and across selected general-purpose benchmarks in code, reasoning, and knowledge, providing evidence of positive transfer from scientific experience to broader capabilities. ScienceIDE lays the foundation for an integrated workspace for agent learning and scientific practice, making humanity's scientific software a shared substrate for developing scientific intelligence. Code: https://github.com/aitofound/ScienceIDE
한국어 요약
한 줄 요약
ScienceIDE는 과학 코드베이스를 학습 가능한 환경으로 전환하여 과학적 경험을 기반으로 AI 에이전트를 훈련하는 인프라를 제시한다.
핵심 기여도
- ScienceIDE라는 인프라를 제시하여 과학 코드를 실행 가능한 환경으로 전환.
- PhAI-IDE-72B, PhAI-IDE-9B, PhAI-IDE-4B 모델 가족을 훈련하여 과학 코드 복구 및 일반적 벤치마크에서 성능 향상.
- 2,515개의 복구, 295개의 구현, 2개의 가속화 작업을 포함한 오픈 레지스트리 구축.
- 과학적 경험에서 일반적인 능력으로의 양전(positive transfer)을 실증.
핵심 아이디어
과학 코드는 수십 년간 축적된 지식을 담고 있지만, 이는 학습 가능한 형태로 전환하기 어렵다. ScienceIDE는 전문가가 정의한 과학 사례와 수용 기준을 바탕으로, 코드 저장소를 실행 가능한 환경으로 전환한다. 이 환경은 작업 생성, 실행, 과학적 검증을 지원하며, 지도 학습, 강화 학습, 평가의 공통 기반을 제공한다. 핵심 아이디어는 과학적 판단을 실행 가능한 체크로 고정하고, 이를 작업 생성과 분리함으로써, 어떤 작업이든 과학적 허용 범위 내에서 검증받을 수 있도록 하는 것이다. 이는 과학적 경험을 재사용 가능한 학습 자원으로 전환하는 기반을 마련한다.
기술적 접근법
- ScienceIDE는 전문가가 정의한 과학 사례와 수용 기준을 바탕으로 실행 가능한 환경을 생성.
- 환경별 팩토리가 전문가의 결정을 재사용하여 유효한 작업을 생성.
- 실행 및 과학적 검증이 후보 작업을 수용하고, 에이전트의 상호작용으로 등급화된 트래젝토리 생성.
- 공통 인터페이스를 통해 지도 학습 데이터, 온라인 강화 학습 보상, 평가 데이터를 제공.
- PhAI-IDE-72B, PhAI-IDE-9B, PhAI-IDE-4B 모델은 검증된 상호작용 트래젝토리로 훈련됨.
- 토큰 수 제한: 4B/9B 모델은 65,536, 72B는 32,768.
주요 결과
- PhAI-IDE-72B, PhAI-IDE-9B, PhAI-IDE-4B 모델은 과학 코드 복구 및 일반적 벤치마크에서 성능 향상.
- ScienceIDE-Hard 하위 집합에서 예산 소진률은 작업 균형 37.3%.
- Fable/Astra 추적 검토에서 참조-관습 불일치가 대부분의 작업 실패 원인.
- 33개 벤치마크 설정에서 20–128개 항목을 평가, 일부 공개 벤치마크에서 SFT 성능 향상.
- 4B/9B 확장 모델은 21개 추가 설정 평가.
의의 및 한계
ScienceIDE는 과학적 경험을 재사용 가능한 학습 자원으로 전환하는 기반을 제공하며, 과학적 지능 개발에 기여한다. 그러나 과학적 작업은 복잡한 편집이나 명시되지 않은 수치적 관습이 필요한 경우 실패율이 높다. 또한, 현재는 특정 코드베이스와 작업 범주 내에서의 전이를 평가했으며, 경쟁 가설이나 새로운 결과를 수용하는 체크는 아직 개발 중이다. 향후 과제는 코드베이스와 작업 범주 간의 전이를 평가하는 것이다.
실용적 활용
ScienceIDE는 과학 연구자와 AI 개발자 모두에게 유용하다. 연구자는 코드베이스를 기반으로 에이전트를 훈련하고 평가할 수 있으며, 개발자는 과학적 지능을 향한 새로운 학습 환경을 구축할 수 있다. 특히, 과학적 코드의 가속화 및 재현 작업에 적용 가능하다.