Towards Autonomous and Auditable Medical Imaging Model Development

Large language model (LLM) agents are beginning to automate machine learning engineering (MLE) by coupling planning, code execution, debugging, and empirical feedback. Translating this capability to medical imaging remains difficult because each task imposes modality-specific experimentation and strict requirements for validation protocols and prediction artifacts. Here we introduce AMID, an autonomous multi-agent framework for medical imaging model development. AMID first proposes Data-Conditioned Method Planning, which refines coarse task-level search spaces into executable, parallelizable method lanes grounded in task-specific data analysis and runnable medical-imaging resources. It then develops Verification-Guided Two-Stage Optimization, moving from broad early exploration of diverse method lanes to selective exploitation of promising candidates while enforcing strict verification of validation protocols, metric computation, and prediction artifacts throughout the optimization. Across 20 medical imaging challenge tasks spanning diverse modalities and prediction types, AMID outperformed evaluated general-purpose MLE systems and, on several tasks, approached or matched strong human-designed challenge solutions. These results suggest that AMID can turn task-specific medical imaging model development from bespoke manual engineering into an agentic workflow for producing high-performing and auditable model artifacts across heterogeneous tasks.

한 줄 요약

AMID는 의료 영상 모델 개발을 자동화하고 검증 가능한 워크플로우로 전환하는 다중 에이전트 프레임워크이다.

핵심 기여도

**Data-Conditioned Method Planning (DCMP)**: 의료 영상 데이터 분석을 기반으로 실행 가능한 메서드 레인(method lanes)을 생성하여 태스크별 탐색 공간을 구체화.
**Verification-Guided Two-Stage Optimization**: 초기 탐색과 후기 선택적 최적화 단계를 결합하며, 검증 프로토콜과 예측 아티팩트를 엄격히 검토.
**20개 의료 영상 챌린지 태스크에서 일반 MLE 시스템을 초과**: 일부 태스크에서 인간 설계 솔루션과 유사한 성능 달성.
**의료 영상 모델 개발의 수작업에서 에이전트 기반 워크플로우로 전환**: 실행 가능한 코드, 검증 증거, 제출 가능한 아티팩트를 생성.

핵심 아이디어

의료 영상 모델 개발은 단순한 머신러닝 엔지니어링과 달리, 데이터 모달리티, 클리닉 목표, 검증 프로토콜 등 다양한 도메인 제약을 고려해야 한다. 기존 MLE 에이전트는 태스크별 특성을 반영하지 못해 의료 영상에 적용하기 어려웠다. AMID는 이 문제를 해결하기 위해 **Data-Conditioned Method Planning (DCMP)**을 도입하여, 태스크의 데이터 분석을 기반으로 실행 가능한 메서드 레인을 생성한다. 이는 모달리티, 라벨 구조, 평가 대상, 제출 요구사항을 분석하고, 관련 코드, 리터러처, 템플릿, 펀데이션 모델을 기반으로 메서드를 구성한다.

또한, AMID는 **Verification-Guided Two-Stage Optimization**을 통해 초기에는 다양한 메서드 레인을 탐색하고, 후반에는 유망한 후보를 선택적으로 최적화한다. 이 과정에서 검증 리뷰어가 검증 프로토콜, 메트릭 계산, 예측 아티팩트를 검토하여 신뢰성 있는 증거만을 기반으로 최종 선택을 진행한다. 이는 의료 영상 모델 개발에서 실험 피드백이 비용이 많이 들고 불확실하다는 문제를 해결하기 위한 핵심 전략이다.

기술적 접근법

**Data-Conditioned Method Planning (DCMP)**: 태스크의 데이터 분석을 기반으로 실행 가능한 메서드 레인을 생성.
**Verification-Guided Two-Stage Optimization**:
**Stage 1 (Exploration)**: 다양한 메서드 레인을 병렬적으로 탐색.
**Stage 2 (Exploitation)**: 유망한 후보를 선택적으로 최적화.
**Reviewer Process**: 모든 실험 전에 검증 프로토콜, 메트릭, 예측 아티팩트를 검토.
**실험 환경**: 20개 의료 영상 챌린지 태스크에서 평가.
**데이터셋**: ReX-MLE 의료 영상 챌린지 스위트.

주요 결과

**20개 의료 영상 챌린지 태스크에서 일반 MLE 시스템을 초과**: 일부 태스크에서 인간 설계 솔루션과 유사한 성능 달성.
**실험 결과**: AMID는 실행 가능한 코드, 검증 증거, 제출 가능한 아티팩트를 생성하며, 기존 시스템 대비 더 높은 신뢰도를 보임.
**검증 프로토콜 준수**: 모든 실험에서 엄격한 검증 절차를 따름.

의의 및 한계

AMID는 의료 영상 모델 개발에서 수작업 엔지니어링을 에이전트 기반 워크플로우로 전환할 수 있는 가능성을 보여준다. 특히, **Data-Conditioned Method Planning**과 **Verification-Guided Two-Stage Optimization**는 의료 영상의 도메인 특성을 반영한 신뢰성 있는 모델 개발을 가능하게 한다. 이는 의료 AI의 검증 가능성과 신뢰도를 높이는 데 기여할 수 있다.

하지만, 이 연구는 **초기 기술 보고서**로, 아직 완전한 시스템으로 간주되지 않는다. 향후 연구에서는 **데이터 프로파일링, 메서드 레인 계획, 두 단계 최적화, 검증 게이트**에 대한 추가 실험과 **비용 효율적 전략, 장기 실행, 더 넓은 태스크 범위**에 대한 평가가 필요하다.

실용적 활용

AMID는 의료 영상 분야에서 모델 개발, 검증, 제출 아티팩트 생성을 자동화할 수 있어, **의료 AI 연구, 임상 모델 개발, 의료 기기 제조사** 등에서 활용 가능하다. 특히, **다양한 모달리티와 태스크에서 신뢰성 있는 모델을 빠르게 개발**해야 하는 상황에서 유용할 수 있다.