HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents

As AI agents become increasingly capable of complex, long-horizon reasoning, rigorous and holistic evaluation is essential for measuring progress toward real-world healthcare applications. We introduce HealthAgentBench, a suite of 54 agentic healthcare tasks across 7 categories each with its unique environment. The benchmark suite spans diverse workflows throughout the patient journey and a broad range of modalities. Each task is designed to replicate an end-to-end clinical workflow: given minimal instructions, an agent must explore raw healthcare data, operate within a complex environment, and execute multi-step solutions that go beyond naive prompting. A final task success rate is reported to provide a single, interpretable metric for HealthAgentBench overall performance for each agent. Evaluating frontier agents on HealthAgentBench, we find that overall task success rate remains low, underscoring the difficulty of the suite. The strongest and the most cost effective agent, Codex GPT-5.5, achieves only approximately 42% success rate. Beyond aggregate performance, HealthAgentBench reveals nuanced strengths and weaknesses across task categories. Frontier agents show promise in automatically developing research modeling pipelines over EHR data, but medical imaging remains especially challenging, particularly for Claude Code models, while Codex GPT-5.5 shows emerging capability. Tasks that combine large search spaces with compositional reasoning requirements remain difficult for all current agents. Together, these results suggest that HealthAgentBench provides a challenging and realistic benchmark with substantial room for future progress. We release our benchmark at https://github.com/microsoft/HealthAgentBench.

한 줄 요약

HealthAgentBench는 54개의 실제 의료 환경 태스크로 구성된 AI 에이전트 평가 벤치마크로, Codex GPT-5.5가 42% 성공률을 기록하는 등 현존 에이전트들의 한계를 드러낸다.

핵심 기여도

54개의 agentic healthcare 태스크로 구성된 HealthAgentBench 벤치마크를 제안.
7개 카테고리(예: X-ray Report Correction, Pathology Tumor Area Selection)에 걸쳐 실제 환자 데이터와 환경을 반영한 평가 환경 제공.
Codex GPT-5.5가 42% 성공률을 기록하는 등, 현존 에이전트의 성능 한계를 명확히 보여줌.
각 태스크별 성공/실패 기준을 전문가 라벨과 비교하여 평가.

핵심 아이디어

HealthAgentBench는 단순 질문-답변이 아닌, 실제 의료 환경에서의 다단계 태스크를 수행하는 에이전트의 능력을 평가하기 위해 설계되었다. 기존 의료 AI 평가 방식은 고정된 입력과 단일 태스크에 초점을 맞추었으나, HealthAgentBench는 에이전트가 환경 탐색, 도구 사용, 복잡한 데이터 처리를 포함한 종단간(end-to-end) 작업을 수행하도록 요구한다. 예를 들어, X-ray Report Correction 태스크에서는 에이전트가 과거 X-ray 이미지와 손상된 보고서를 비교하며 수정을 수행해야 한다. 이는 단순 텍스트 기반 평가를 넘어, 의료 이미지, EHR 데이터, 복합적 추론을 포함한 종합적 평가를 가능하게 한다.

기술적 접근법

**태스크 구성**: 54개 태스크, 7개 카테고리 (X-ray Report Correction, Pathology Tumor Area Selection, CT Abnormality Classification 등).
**평가 환경**: 각 태스크는 터미널 기반 환경에서 진행되며, 에이전트는 실제 환자 데이터와 지원 자원을 활용.
**성공 기준**: 전문가 라벨 또는 인간 성능 기준으로 이진 평가 (성공/실패).
**에이전트 평가**: Codex GPT-5.5, Claude Code 등 10개의 frontier agents를 평가.
**성능 지표**: 전체 태스크 성공률 (42% for Codex GPT-5.5).

주요 결과

Codex GPT-5.5가 42% 성공률을 기록, 전체 태스크 성공률 기준으로 가장 높음.
EHR 데이터 기반 연구 모델링 파이프라인 자동화는 상대적으로 잘 수행됨.
의료 이미지 처리는 Claude Code 모델에 특히 어려움 (Codex GPT-5.5는 일부 개선).
대규모 탐색 공간과 구성적 추론이 필요한 태스크는 모든 에이전트에게 어려움.

의의 및 한계

HealthAgentBench는 의료 AI 에이전트의 종합적 능력을 평가하는 현실적이고 도전적인 벤치마크로, 현재 기술의 한계를 명확히 드러내며 향후 연구 방향을 제시한다. 특히, 의료 이미지 처리와 복합적 추론 능력은 현존 에이전트들이 극복해야 할 주요 과제로 부각된다. 그러나 이 벤치마크는 의료 에이전트의 모든 측면을 다루지는 못하며, 추가 태스크와 모달리티 확장을 통해 보완이 필요하다는 점이 언급된다.

실용적 활용

HealthAgentBench는 의료 AI 연구자들이 에이전트의 실제 환경에서의 성능을 평가하고, 의료 데이터 분석, 진단, 치료 계획 수립 등 다양한 의료 워크플로우에 적용 가능한 에이전트를 개발하는 데 유용한 도구가 될 수 있다. 특히, EHR 데이터 관리, 의료 이미지 해석, 임상 시험 매칭 등 복잡한 의료 시스템과 연계된 분야에서 활용 가능성이 높다.