BioTool: A Comprehensive Tool-Calling Dataset for Enhancing Biomedical Capabilities of Large Language Models

Despite the success of large language models (LLMs) on general-purpose tasks, their performance in highly specialized domains such as biomedicine remains unsatisfactory. A key limitation is the inability of LLMs to effectively leverage biomedical tools, which clinical experts and biomedical researchers rely on extensively in daily workflows. While recent general-domain tool-calling datasets have substantially improved the capabilities of LLM agents, existing efforts in the biomedical domain largely rely on in-context learning and restrict models to a small set of tools. To address this gap, we introduce BioTool, a comprehensive biomedical tool-calling dataset designed for fine-tuning LLMs. BioTool comprises 34 frequently used tools collected from the NCBI, Ensembl, and UniProt databases, along with 7,040 high-quality, human-verified query-API call pairs spanning variation, genomics, proteomics, evolution, and general biology. Fine-tuning a 4-billion-parameter LLM on BioTool yields substantial improvements in biomedical tool-calling performance, outperforming cutting-edge commercial LLMs such as GPT-5.1. Furthermore, human expert evaluations demonstrate that integrating a BioTool-fine-tuned tool caller significantly improves downstream answer quality compared to the same LLM without tool usage, highlighting the effectiveness of BioTool in enhancing the biomedical capabilities of LLMs. The full dataset and evaluation code are available at https://github.com/gxx27/BioTool

📋 한 줄 요약

**[바이오/LLM 도구사용]** NCBI·Ensembl·UniProt 기반 34개 도구를 활용하는 7,040쌍의 query-API 데이터셋 BioTool로 LLM의 생의학 도구 호출 능력을 강화한다.

🎯 핵심 기여도

생의학 도구 호출 학습용 종합 데이터셋 BioTool 공개
NCBI, Ensembl, UniProt 등 핵심 데이터베이스 기반 34개 자주 쓰는 도구 수록
변이·유전체·단백체·진화·일반 생물학 도메인 7,040쌍 사람 검증 데이터 제공
4B 모델 파인튜닝만으로 GPT-5.1을 능가하는 도구 호출 성능 달성

💡 핵심 아이디어

범용 도구 호출 데이터셋은 LLM 에이전트 능력을 크게 향상시켰지만, 생의학 도메인은 여전히 in-context learning에 의존하고 도구 범위가 좁다. BioTool은 도메인 전문가가 일상적으로 쓰는 도구를 망라하고, 이를 학습 데이터로 활용해 LLM의 실제 활용 가능성을 끌어올린다.

🔬 기술적 접근법

**모델/방법론**: 4B 파라미터 LLM을 BioTool로 fine-tuning
**핵심 기법**: 34개 생의학 API에 대한 query-API call 쌍 7,040개 + 사람 검증 + 다섯 개 하위 도메인 균형 구성

📊 주요 결과

4B fine-tuned 모델이 상용 LLM(GPT-5.1 등) 대비 도구 호출 성능 우위
사람 전문가 평가에서 BioTool 도구 호출 통합 시 다운스트림 답변 품질 유의미 향상
데이터셋과 평가 코드 GitHub에 공개

💭 의의 및 한계

**의의**: 도메인 특화 도구 사용에서 적정 규모의 오픈 모델이 상용 모델을 능가할 수 있음을 보여 주며, 의생명 연구 워크플로우 자동화의 현실적 경로를 제시. **한계**: 34개 도구로 한정되어 있어 임상·의료 영상·다국어 케이스 확장은 추후 과제.

🚀 실용적 활용

생의학 연구원의 데이터베이스 질의 자동화 어시스턴트
임상 보조 챗봇에 도구 호출 능력을 안전하게 부여
도메인 특화 LLM 에이전트 학습용 표준 벤치마크