MDAgents: An Adaptive Collaboration of LLMs for Medical Decision-Making

Foundation models are becoming valuable tools in medicine. Yet despite their promise, the best way to leverage Large Language Models (LLMs) in complex medical tasks remains an open question. We introduce a novel multi-agent framework, named Medical Decision-making Agents (MDAgents) that helps address this gap by automatically assigning a collaboration structure to a team of LLMs. The assigned solo or group collaboration structure is tailored to the medical task at hand, emulating real-world medical decision-making processes adapted to tasks of varying complexities. We evaluate our framework and baseline methods using state-of-the-art LLMs across a suite of real-world medical knowledge and medical diagnosis benchmarks, including a comparison of LLMs' medical complexity classification against human physicians. MDAgents achieved the best performance in seven out of ten benchmarks on tasks requiring an understanding of medical knowledge and multi-modal reasoning, showing a significant improvement of up to 4.2% (p<0.05) compared to previous methods' best performances. Ablation studies reveal that MDAgents effectively determines medical complexity to optimize for efficiency and accuracy across diverse medical tasks. Notably, the combination of moderator review and external medical knowledge in group collaboration resulted in an average accuracy improvement of 11.8%. Our code can be found at https://github.com/mitmedialab/MDAgents.

한 줄 요약

MDAgents는 복잡한 의료 결정 과제에서 LLM들의 협업 구조를 자동화하여 7/10 벤치마크에서 최고 성능을 달성한 의료 AI 프레임워크이다.

핵심 기여도

MDAgents는 의료 복잡도에 따라 LLM 협업 구조를 자동 할당하는 최초의 적응형 프레임워크이다.
10개 의료 벤치마크 중 7개에서 기존 방법 대비 최대 4.2% (p<0.05) 개선된 정확도를 달성했다.
그룹 협업에서 중재자 검토와 외부 의학 지식을 결합하면 평균 11.8%의 정확도 향상 효과가 입증되었다.
다양한 하이퍼파라미터 조건에서 MDAgents의 안정성과 효율성(예: API 호출 수)의 균형을 입증했다.

핵심 아이디어

의료 결정 과정은 복잡도에 따라 개별 의사와 전문가 팀의 협업이 필요하다. MDAgents는 이 점을 모방하여, 의료 복잡도를 자동으로 분류하고, 해당 복잡도에 맞는 협업 구조(개별 또는 그룹)를 할당한다. 이는 3단계로 구성된 프로세스 — 의료 복잡도 체크, 복잡도 기반 모듈 선택, 분석 및 종합, 최종 결정 — 를 통해 수행된다. 특히, 그룹 협업 단계에서 중재자(Agent Moderator)가 의견을 조율하고, 외부 의학 지식을 통합함으로써 정확도를 향상시킨다. 이는 기존의 고정된 협업 방식과 달리, 실제 의료 상황을 더 유연하게 반영한 점에서 혁신적이다.

기술적 접근법

**의료 복잡도 체크 모듈**: 의료 질문의 복잡도를 분류하여, 단일 LLM 사용 또는 그룹 협업을 결정한다.
**모듈 선택 알고리즘**: 복잡도에 따라 적절한 LLM 조합을 자동 선택한다.
**분석 및 종합 단계**: 각 LLM이 독립적으로 분석한 후, 중재자(Agent Moderator)가 결과를 종합하고 외부 의학 지식을 통합한다.
**하이퍼파라미터 실험**: 온도(temperature) 등 다양한 파라미터 조건에서 성능과 효율성의 균형을 평가했다.

주요 결과

**MedQA, PubMedQA, DDXPlus, SymCat, JAMA, MedBullets, Path-VQA, PMC-VQA, MedVidQA** 등 9개 데이터셋에서 MDAgents는 7개에서 최고 성능을 달성했다.
기존 최고 성능 대비 **최대 4.2% (p<0.05)**의 정확도 향상.
그룹 협업에서 **중재자 검토 + 외부 의학 지식 통합**으로 평균 **11.8%의 정확도 향상**을 기록했다.
API 호출 수를 조절함으로써 성능과 효율성의 균형을 유지하는 방식이 입증되었다.

의의 및 한계

MDAgents는 의료 AI 분야에서 LLM의 협업 구조를 적응형으로 구축한 최초의 시도로, 실제 의료 결정 과정을 모방하여 정확도와 신뢰성을 동시에 향상시켰다. 특히, 복잡도에 따른 자동화된 협업 구조는 의료 AI의 실용성과 확장성을 높이는 기반이 될 수 있다. 그러나, 모든 의료 상황에 대한 복잡도 분류의 정확도나, 외부 지식 통합의 한계는 추가 연구가 필요하다. 또한, 실제 임상 환경에서의 적용 가능성도 검증이 필요하다.

실용적 활용

MDAgents는 복잡한 의료 결정을 필요로 하는 **응급실 환자 분류**, **다학제 팀 진단**, **전자 건강 기록 분석** 등에 적용 가능하다. 특히, **AI 기반 진단 시스템**이나 **의료 컨설팅 플랫폼**에서 의사의 부담을 줄이고, 정확도를 높이는 데 활용할 수 있다.