BioMistral: A Collection of Open-Source Pretrained Large Language Models for Medical Domains

Large Language Models (LLMs) have demonstrated remarkable versatility in recent years, offering potential applications across specialized domains such as healthcare and medicine. Despite the availability of various open-source LLMs tailored for health contexts, adapting general-purpose LLMs to the medical domain presents significant challenges. In this paper, we introduce BioMistral, an open-source LLM tailored for the biomedical domain, utilizing Mistral as its foundation model and further pre-trained on PubMed Central. We conduct a comprehensive evaluation of BioMistral on a benchmark comprising 10 established medical question-answering (QA) tasks in English. We also explore lightweight models obtained through quantization and model merging approaches. Our results demonstrate BioMistral's superior performance compared to existing open-source medical models and its competitive edge against proprietary counterparts. Finally, to address the limited availability of data beyond English and to assess the multilingual generalization of medical LLMs, we automatically translated and evaluated this benchmark into 7 other languages. This marks the first large-scale multilingual evaluation of LLMs in the medical domain. Datasets, multilingual evaluation benchmarks, scripts, and all the models obtained during our experiments are freely released.

한 줄 요약

BioMistral 7B는 PubMed Central로 사전 학습된 의료 분야 대형 언어 모델로, 10개 영어 QA 태스크와 7개 언어로 번역된 다국어 평가에서 기존 오픈소스 모델을 상회하는 성능을 보인다.

핵심 기여도

BioMistral 7B는 Mistral 7B Instruct를 기반으로 PubMed Central로 추가 사전 학습한 첫 번째 오픈소스 의료 분야 LLM이다.
10개 영어 의료 QA 태스크를 기반으로 한 평가 벤치마크를 제시하고, 이를 7개 언어로 자동 번역하여 다국어 평가를 수행했다.
SLERP, TIES, DARE를 활용한 모델 병합 기법을 통해 BioMistral 7B와 Mistral 7B Instruct를 결합한 경량화 모델을 제시했다.
BioMistral 7B는 PubMedQA 태스크에서 GPT-3.5 Turbo 대비 5.14% 높은 정확도를 기록했다.

핵심 아이디어

의료 분야에서 사용 가능한 오픈소스 LLM의 부족과, 기존 모델의 다국어 일반화 능력 부족을 해결하기 위해, BioMistral 7B는 일반 도메인 모델인 Mistral 7B Instruct를 의료 도메인에 맞게 PubMed Central로 재사전 학습한 모델이다. 이는 의료 QA 태스크에서의 정확도와 일반화 능력을 동시에 향상시키는 전략이다.

또한, BioMistral 7B는 단순히 사전 학습만이 아니라, SLERP, TIES, DARE와 같은 모델 병합 기법을 통해 일반 도메인과 전문 도메인의 장점을 결합한 모델을 생성함으로써, 성능과 경량화를 동시에 달성하려는 접근을 취했다. 특히, SLERP는 두 모델 간 매개변수를 구형 보간법을 통해 부드럽게 결합하여 정보 손실을 최소화하는 것이 핵심이다.

기술적 접근법

**모델 아키텍처**: BioMistral 7B는 Mistral 7B Instruct를 기반으로 PubMed Central 데이터로 추가 사전 학습한 모델이다.
**데이터셋**: PubMed Central를 사용한 추가 사전 학습, 10개 영어 의료 QA 태스크, 7개 언어로 번역된 다국어 평가 데이터.
**모델 병합**: SLERP, TIES, DARE를 사용하여 BioMistral 7B와 Mistral 7B Instruct를 결합.
**평가 전략**: few-shot learning, supervised fine-tuning(SFT), 모델 병합 후 성능 비교.
**경량화**: 4-bit, 8-bit 양자화 버전을 포함한 다양한 경량 모델을 제공.

주요 결과

BioMistral 7B는 PubMedQA 태스크에서 GPT-3.5 Turbo 대비 5.14% 높은 정확도를 기록했다.
SLERP 병합 모델은 BioMistral 7B 대비 5.11%의 평균 정확도 향상을 보였다.
BioMistral 7B Ensemble은 College Biology에서 3.7%, PubMedQA에서 30.4%의 정확도 향상을 기록했으나 Anatomy에서는 2.7% 감소.
BioMistral 7B는 7개 언어로 번역된 다국어 평가에서 기존 오픈소스 의료 모델 대비 우수한 성능을 보였다.

의의 및 한계

BioMistral 7B는 의료 분야에서 사용 가능한 첫 번째 오픈소스 Mistral 기반 모델로, 의료 QA 태스크에서 뛰어난 성능과 다국어 일반화 능력을 동시에 보여준다. 특히, SLERP 기반 모델 병합 기법은 경량화와 성능 향상을 동시에 달성하는 데 기여하며, 의료 분야 LLM의 실용성을 높이는 데 기여할 수 있다.

그러나, BioMistral 7B는 인간 평가를 통한 생성 품질 검증이 이루어지지 않았으며, 일부 태스크에서는 성능 저하가 발생할 수 있다는 한계가 있다. 또한, 번역 기반 다국어 평가는 원어 데이터와의 차이로 인해 완전한 일반화를 보장하기 어렵다.

실용적 활용

BioMistral 7B는 의료 QA 시스템, 의료 정보 추출, 의료 상담 챗봇 등에 활용될 수 있으며, 특히 경량화 모델은 클라이언트 기기에서의 실시간 활용이 가능하다. 또한, 다국어 평가 결과를 바탕으로 국제 의료 협력 및 번역 기반 의료 지원 시스템 개발에도 활용될 수 있다.