Tracing Agentic Failure from the Flow of Success

Failure attribution for LLM-based agentic systems, i.e., identifying which steps in a failure trajectory caused the task to fail, is critical for debugging and improving these systems. Existing approaches either rely on prompting-based pipelines, which are computationally expensive, or require post-training on failure trajectories with step-level error annotations, which are costly to collect and difficult to scale. We argue that a practical failure attribution model should be lightweight and trainable without step-level supervision on failure data. To this end, we address unsupervised failure attribution, i.e., training exclusively on successful trajectories and identifying error steps at inference time given a failure trajectory. We propose OAT, which casts this problem as one-class learning with neural controlled differential equations, modeling the dynamical pattern of successful trajectories in latent space. At inference time, each step in a failure trajectory is assigned an anomaly score based on its deviation from the dynamics learned on successful trajectories, which is then used to form a set of error steps. With training on only 100 successful trajectories, experiments show that OAT is 200--5000 times faster than prompting-based baselines, and, at the same time, consistently outperforms them in both in-domain and out-of-distribution datasets with +20% and +7% F1 scores, respectively, demonstrating that OAT is a promising and efficient direction for diagnosing agentic system failures.

한 줄 요약

OAT는 성공 트래젝토리만으로 학습하여 실패 트래젝토리의 오류 단계를 탐지하는 무감독 실패 분석 모델로, GPT-5 대비 200–5000배 빠르고 F1 점수 +20% 개선.

핵심 기여도

무감독 실패 분석 문제 설정을 제안: 실패 트래젝토리의 단계별 라벨 없이 성공 트래젝토리만으로 학습.
OAT 모델을 제안: Neural CDE 기반의 One-Class Learning을 통해 성공 트래젝토리의 동적 패턴을 모델링.
MCP-Atlas 데이터셋에서 100개 성공 트래젝토리만으로 학습했음에도 GPT-5 기반 프롬프팅 기법 대비 F1 +20% 개선.
추론 시 토큰 비용 0, 200–5000배 빠른 처리 속도를 달성.

핵심 아이디어

기존 실패 분석 방법은 단계별 라벨이 필요하거나, 프롬프팅 기반으로 계산 비용이 높아 실용적이지 않았다. OAT는 이 문제를 해결하기 위해 **성공 트래젝토리만으로 학습**하는 무감독 접근법을 제안한다. 핵심 아이디어는 성공 트래젝토리의 **동적 패턴을 잠재 공간에서 모델링**하고, 실패 트래젝토리의 단계가 이 패턴에서 얼마나 벗어났는지를 기반으로 **이상 점수를 계산**하여 오류 단계를 탐지하는 것이다.

이를 위해 **Neural Controlled Differential Equations (Neural CDEs)**를 활용하여, 각 단계의 잠재 표현을 연속적 경로로 모델링한다. 이는 트래젝토리의 비정규 구조를 효과적으로 처리할 수 있는 방법이다. 또한, **gated control path**라는 새로운 설계를 도입하여, 이질적인 도메인에서의 신뢰도를 높인다.

기술적 접근법

**OAT 모델**: 성공 트래젝토리의 잠재 표현을 Neural CDE로 모델링.
**잠재 표현 추출**: 각 단계의 토큰 표현을 LLM의 특정 레이어에서 추출.
**트래젝토리 표현**: $ H(\tau) = (h_1, \dots, h_{T_\tau}) \in \mathbb{R}^{T_\tau \times d_h} $로 정의.
**이상 점수 계산**: 실패 트래젝토리의 단계가 성공 트래젝토리의 동적 패턴에서 얼마나 벗어났는지를 기반으로 계산.
**모델 구조**: 3-layer MLP로 구성된 가벼운 모델.
**학습 데이터**: MCP-Atlas 데이터셋의 100개 성공 트래젝토리만 사용.
**추론 시 특징**: 토큰 비용 0, GPT-5 기반 프롬프팅 대비 200–5000배 빠름.

주요 결과

**MCP-Atlas 데이터셋**: OAT는 GPT-5 기반 프롬프팅 기법 대비 +20% F1 점수 개선.
**Who&When 데이터셋 (OOD)**: +7% F1 점수 개선.
**추론 속도**: GPT-5 기반 프롬프팅 대비 200–5000배 빠름.
**토큰 비용**: 0.

의의 및 한계

OAT는 실패 트래젝토리의 단계별 라벨 없이도 실패 원인을 분석할 수 있는 **무감독 실패 분석**의 새로운 접근법을 제시한다. 특히, **성공 트래젝토리만으로 학습**할 수 있어 라벨링 비용을 완전히 제거하고, **가벼운 모델 구조**로 실시간 실패 분석이 가능하다는 점에서 실용적 가치가 크다.

하지만, OAT는 실패 트래젝토리의 **복잡한 패턴을 포착하지 못하는 경우**가 있을 수 있으며, **새로운 도메인에서의 일반화 능력**은 추가 실험을 통해 검증이 필요하다. 또한, **단계별 오류 탐지의 정확도**는 성공 트래젝토리의 질과 수에 영향을 받을 수 있다.

실용적 활용

OAT는 코드 작성, 과학 연구 등 고위험 도메인에서 **LLM 기반 에이전트 시스템의 실시간 실패 진단**에 활용 가능하다. 특히, **대규모 실패 트래젝토리 분석**이 필요한 산업 현장에서 높은 처리 속도와 낮은 비용으로 효율적인 디버깅을 지원할 수 있다.