Why Do Multi-Agent LLM Systems Fail?
M. Cemri, Melissa Z. Pan, Shuyi Yang, Lakshya A. Agrawal, Bhavya Chopra, Rishabh Tiwari, Kurt Keutzer, Aditya G. Parameswaran, Dan Klein, K. Ramchandran, Matei A. Zaharia, Joseph E. Gonzalez, Ion Stoica
arXiv:2503.13657 · 2026-07-27 공개 · arXiv · PDF
llm-as-a-judge multi-agent-llm failure-taxonomy task-verification annotation-pipeline mas-frameworks mas-design system-verification
Abstract
Despite enthusiasm for Multi-Agent LLM Systems (MAS), their performance gains on popular benchmarks are often minimal. This gap highlights a critical need for a principled understanding of why MAS fail. Addressing this question requires systematic identification and analysis of failure patterns. We introduce MAST-Data, a comprehensive dataset of 1600+ annotated traces collected across 7 popular MAS frameworks. MAST-Data is the first multi-agent system dataset to outline the failure dynamics in MAS for guiding the development of better future systems. To enable systematic classification of failures for MAST-Data, we build the first Multi-Agent System Failure Taxonomy (MAST). We develop MAST through rigorous analysis of 150 traces, guided closely by expert human annotators and validated by high inter-annotator agreement (kappa = 0.88). This process identifies 14 unique modes, clustered into 3 categories: (i) system design issues, (ii) inter-agent misalignment, and (iii) task verification. To enable scalable annotation, we develop an LLM-as-a-Judge pipeline with high agreement with human annotations. We leverage MAST and MAST-Data to analyze failure patterns across models (GPT4, Claude 3, Qwen2.5, CodeLlama) and tasks (coding, math, general agent), demonstrating improvement headrooms from better MAS design. Our analysis provides insights revealing that identified failures require more sophisticated solutions, highlighting a clear roadmap for future research. We publicly release our comprehensive dataset (MAST-Data), the MAST, and our LLM annotator to facilitate widespread research and development in MAS.
한국어 요약
한 줄 요약
다중 에이전트 LLM 시스템(MAS) 실패 원인을 체계적으로 분석한 실험적 실패 분류체계(MAST)와 대규모 데이터셋(MAST-Data)를 제시한다.
핵심 기여도
- MAST: 14개의 실패 모드를 3개 범주로 분류한 첫 실험적 실패 분류체계 (Cohen’s Kappa = 0.88).
- MAST-Data: 1600개 이상의 라벨링된 실행 트레이스를 포함한 대규모 MAS 실패 데이터셋.
- LLM-as-a-Judge 파이프라인: MAST 기반 자동 분석 도구 (Cohen’s Kappa = 0.77).
- ChatDev에서 개입 후 15.6% 성능 향상을 보여 실패 원인의 구조적 해결 필요성을 제시.
핵심 아이디어
MAS는 개별 에이전트의 능력 이상의 시스템 설계 문제로 실패한다. 기존 연구는 LLM의 한계(예: 환각, 정렬 문제)에만 초점을 맞추었으나, 본 연구는 조직 설계와 에이전트 간 조율 문제를 핵심 원인으로 제시한다. 이는 고도로 교육된 개인조차 조직 구조가 잘못되면 실패할 수 있다는 고전적 조직 이론과 일치한다. 연구팀은 Grounded Theory를 기반으로 150개 트레이스를 분석하고, 전문가 라벨러와 높은 일관성 (Cohen’s Kappa = 0.88)을 통해 실패 모드를 정의했다. MAST는 단순히 특정 MAS 구현의 문제를 넘어, 시스템 설계의 근본적 문제를 드러낸다.
기술적 접근법
- **실험 데이터**: 7개 인기 있는 MAS 프레임워크에서 200개 이상의 대화 트레이스 (평균 15,000줄 이상) 수집.
- **실패 분류**: 6명의 전문가 라벨러와 3명의 독립 라벨러를 통해 150개 트레이스 분석.
- **분류체계**: 14개 실패 모드를 3개 범주 (i) specification issues, (ii) inter-agent misalignment, (iii) task verification로 분류.
- **자동 분석**: OpenAI o1 기반의 LLM-as-a-Judge 파이프라인 개발, 전문가 라벨과 0.77의 일관성 보장.
- **사례 연구**: ChatDev, Magentic-One, OpenManus 등에 개입 전후 실패 분석을 수행.
주요 결과
- ChatDev는 ProgramDev 벤치마크에서 33.33% 정확도를 기록.
- 개입 후 ChatDev 성능은 15.6% 향상됨.
- MAST-LLM 자동 라벨러는 GAIA, MMLU 등 새로운 벤치마크에서도 0.79의 일관성을 보임.
- 실패 원인은 단순한 프롬프트 조정이나 모델 개선으로 해결되지 않음.
의의 및 한계
MAST는 MAS 실패 분석의 첫 체계적 틀을 제공하며, 연구자들이 실패 원인을 구조적으로 진단하고 개선 방향을 설정하는 데 기여한다. 또한, 실패 분류체계를 기반으로 실험적 연구와 개선된 시스템 설계가 가능해진다. 그러나 MAST는 모든 실패 패턴을 포괄하지 않으며, 특정 도메인에 대한 일반화 가능성도 한계가 있을 수 있다. 또한, 실패 분류는 인간 라벨러의 주관에 의존하므로 자동화된 분석의 정확성 향상이 필요하다.
실용적 활용
MAST는 소프트웨어 개발, 과학 시뮬레이션, 의약품 발견 등 다양한 도메인에서 MAS 설계 개선에 활용 가능하다. 특히, 개발자들이 실패 원인을 체계적으로 진단하고, 조직 설계와 에이전트 조율 문제를 해결하는 데 도움을 줄 수 있다. MAST-Data와 LLM 자동 라벨러는 연구자와 엔지니어들이 실패 분석을 대규모로 수행할 수 있도록 지원한다.