Benchmarking Retrieval-Augmented Generation for Medicine

While large language models (LLMs) have achieved state-of-the-art performance on a wide range of medical question answering (QA) tasks, they still face challenges with hallucinations and outdated knowledge. Retrieval-augmented generation (RAG) is a promising solution and has been widely adopted. However, a RAG system can involve multiple flexible components, and there is a lack of best practices regarding the optimal RAG setting for various medical purposes. To systematically evaluate such systems, we propose the Medical Information Retrieval-Augmented Generation Evaluation (MIRAGE), a first-of-its-kind benchmark including 7,663 questions from five medical QA datasets. Using MIRAGE, we conducted large-scale experiments with over 1.8 trillion prompt tokens on 41 combinations of different corpora, retrievers, and backbone LLMs through the MedRAG toolkit introduced in this work. Overall, MedRAG improves the accuracy of six different LLMs by up to 18% over chain-of-thought prompting, elevating the performance of GPT-3.5 and Mixtral to GPT-4-level. Our results show that the combination of various medical corpora and retrievers achieves the best performance. In addition, we discovered a log-linear scaling property and the"lost-in-the-middle"effects in medical RAG. We believe our comprehensive evaluations can serve as practical guidelines for implementing RAG systems for medicine.

한 줄 요약

의학 분야에서 RAG 시스템의 최적 설정을 평가하기 위한 MIRAGE 벤치마크와 MedRAG 툴킷을 제안하고, 1.8조 개의 프롬프트 토큰을 기반으로 41가지 조합 실험을 수행한 연구.

핵심 기여도

MIRAGE: 7,663개 질문을 포함한 의학 QA 벤치마크 제안.
MedRAG: 5개의 코퍼스, 4개의 리트리버, 6개의 LLM을 포함한 의학 RAG 툴킷 개발.
1.8조 개의 프롬프트 토큰을 기반으로 41가지 조합 실험 수행.
GPT-3.5와 Mixtral이 MedRAG를 통해 GPT-4 수준 성능 달성.

핵심 아이디어

의학 QA에서 LLM은 홀로 작동할 때 hallucination과 오래된 지식 문제를 겪는다. 이를 해결하기 위해 RAG가 도입되지만, 의학 분야에서는 RAG 구성 요소(코퍼스, 리트리버, LLM)의 최적 조합이 명확하지 않다. 본 연구는 이 문제를 해결하기 위해 MIRAGE라는 첫 번째 의학 RAG 벤치마크를 제안하고, 다양한 코퍼스와 리트리버의 조합을 통해 LLM 성능을 18%까지 향상시킬 수 있음을 보여준다. 특히, BM25와 MedCPT 리트리버가 우수한 성능을 보였으며, PubMed 코퍼스가 대부분의 작업에서 안정적인 결과를 제공했다는 점이 핵심 통찰이다.

기술적 접근법

**MIRAGE**: 5개의 의학 QA 데이터셋(7,663개 질문)을 기반으로 구성.
**MedRAG 툴킷**: 5개의 코퍼스(예: PubMed, 교과서), 4개의 리트리버(BM25, MedCPT 포함), 6개의 LLM(GPT-3.5, Mixtral 등)을 포함.
**실험 설정**: 1.8조 개의 프롬프트 토큰을 사용한 41가지 조합 실험.
**평가 방식**: zero-shot 설정, 질문 기반 리트리버 사용.

주요 결과

MedRAG는 6개의 LLM에서 chain-of-thought prompting 대비 최대 18%의 정확도 향상.
GPT-3.5와 Mixtral은 MedRAG를 통해 GPT-4 수준 성능 달성.
PubMed 코퍼스는 모든 MIRAGE 작업에서 안정적인 성능 보임.
BM25와 MedCPT 리트리버가 가장 우수한 성능을 나타냄.
여러 리트리버를 결합하면 성능이 추가적으로 향상됨.

의의 및 한계

본 연구는 의학 RAG 시스템의 최적 구성 요소를 평가하기 위한 첫 번째 벤치마크(MIRAGE)와 툴킷(MedRAG)을 제시하며, 의학 QA 분야에서 RAG의 실용적 적용을 위한 기초를 마련했다. 또한, log-linear scaling 성질과 "lost-in-the-middle" 효과를 발견하여 RAG의 이론적 이해를 확장했다. 그러나 MIRAGE는 zero-shot 설정에만 초점을 맞추고 있어, few-shot 또는 fine-tuning 환경에서는 일반화가 어려울 수 있다. 또한, 일부 의학 분야(예: 진단)에서는 더 복잡한 RAG 구조가 필요할 수 있다.

실용적 활용

의학 QA 시스템, 임상 지원 도구, 의료 교육 플랫폼 등에서 RAG 기반 정보 제공을 최적화할 수 있다. 특히, BM25와 MedCPT 리트리버, PubMed 코퍼스를 결합한 구성은 의료 기관에서의 실제 적용에 유용할 수 있다.