Which Agent Causes Task Failures and When? On Automated Failure Attribution of LLM Multi-Agent Systems

Failure attribution in LLM multi-agent systems-identifying the agent and step responsible for task failures-provides crucial clues for systems debugging but remains underexplored and labor-intensive. In this paper, we propose and formulate a new research area: automated failure attribution for LLM multi-agent systems. To support this initiative, we introduce the Who&When dataset, comprising extensive failure logs from 127 LLM multi-agent systems with fine-grained annotations linking failures to specific agents and decisive error steps. Using the Who&When, we develop and evaluate three automated failure attribution methods, summarizing their corresponding pros and cons. The best method achieves 53.5% accuracy in identifying failure-responsible agents but only 14.2% in pinpointing failure steps, with some methods performing below random. Even SOTA reasoning models, such as OpenAI o1 and DeepSeek R1, fail to achieve practical usability. These results highlight the task's complexity and the need for further research in this area. Code and dataset are available at https://github.com/mingyin1/Agents_Failure_Attribution

한 줄 요약

LLM 멀티에이전트 시스템의 실패 원인을 자동으로 추적하는 새로운 연구 분야를 제안하고, 실패 로그를 기반으로 한 Who&When 데이터셋을 소개한다.

핵심 기여도

새로운 연구 분야 제안: LLM 멀티에이전트 시스템의 **자동 실패 원인 추적**(Automated Failure Attribution)
실패 로그와 세부 어노테이션이 포함된 **Who&When 데이터셋** 소개 (127개 시스템)
3가지 실패 추적 방법 평가: 최고 성능은 **53.5%의 에이전트 정확도**, **14.2%의 단계 정확도**
SOTA 모델 (OpenAI o1, DeepSeek R1)도 실용성 부족

핵심 아이디어

LLM 멀티에이전트 시스템은 여러 에이전트가 협력하여 작업을 수행하지만, 실패 시 원인을 추적하는 과정은 수동적이고 시간 소요가 크다. 이 연구는 **LLM을 활용한 자동 실패 추적**을 제안하며, 실패 로그를 기반으로 **어떤 에이전트가**, **어떤 단계에서** 실패했는지를 자동으로 판단하는 문제를 정식화한다. 이는 기존의 수동적 실패 분석 방식을 대체하고, 시스템 개선에 집중할 수 있도록 지원하는 핵심 아이디어이다.

Who&When 데이터셋은 실패 로그에 **세부 어노테이션**(에이전트, 단계, 실패 원인)을 포함하며, 이는 실패 추적 모델의 학습 및 평가에 핵심 자원이 된다. 특히, 실패 단계 추적은 에이전트 추적보다 더 복잡한 작업으로, **8.77%의 정확도**를 기록한 바 있다.

기술적 접근법

**Who&When 데이터셋**: 127개의 LLM 멀티에이전트 시스템 실패 로그, **세부 어노테이션**(에이전트, 단계, 원인) 포함
**실패 추적 방법**: 3가지 알고리즘 평가 (구체적 이름 미제공)
**평가 지표**:
에이전트 정확도: 최고 53.5%
단계 정확도: 최고 14.2%
핸드크래프트 시스템에서 단계 정확도: 8.77%
**모델 실험**: OpenAI o1, DeepSeek R1 등 최신 모델도 실용성 부족

주요 결과

**Who&When 데이터셋**에서 실패 추적 실험 결과:
에이전트 정확도: 최고 53.5%
단계 정확도: 최고 14.2%
핸드크래프트 시스템에서 단계 정확도: 8.77%
SOTA 모델 (OpenAI o1, DeepSeek R1)도 실용성 부족
어노테이션 과정에서 **15~30%의 불확실성** 발생, **인간 어노테이션 시간 평균 23~30시간**

의의 및 한계

이 연구는 LLM 멀티에이전트 시스템의 실패 추적 문제를 체계적으로 다룬 **최초의 연구**로, 실패 로그 기반의 Who&When 데이터셋은 이 분야의 기초 자원이 될 수 있다. 또한, 실패 추적의 복잡성과 기존 수동 방식의 한계를 명확히 보여주며, 자동화 연구의 필요성을 강조한다.

그러나 실패 단계 추적은 **정확도가 낮고**, 일부 방법은 **무작위 수준 이하**로 작동하며, SOTA 모델조차 실용성을 보이지 못하는 점에서 **추가 연구가 필수적**이다. 또한, 실패 원인의 주관성과 어노테이션의 불확실성은 모델 개발에 추가적인 도전 과제를 제시한다.

실용적 활용

이 연구는 LLM 멀티에이전트 시스템을 개발하는 연구자와 엔지니어에게 **자동 실패 분석 도구** 개발의 기초를 제공한다. 특히, **코딩**, **과학 연구**, **복잡한 문제 해결** 등에서 시스템의 신뢰성과 개선 효율성을 높이는 데 활용될 수 있다.