Using Grounded Theory for Agent Behavior Analysis at Scale

Understanding agent behavior requires methods that scale to thousands of trajectories and surface new patterns in long, often unfamiliar tasks where pre-built classifiers fall short. We propose to bring grounded theory into agent trajectory analysis: a six-decade-old qualitative method from the social sciences, with a principled saturation criterion and an auditable trail from data to theory. We propose AutoTraceGT (Automated Trace analysis through Grounded Theory), the first multi-agent pipeline that automates grounded theory on agent trajectories. It iteratively performs open, axial, and theoretical coding until saturation, producing a behavioral taxonomy tailored to each task. Across six trajectory corpora, AutoTraceGT produces codebooks that recover 73-91 percent of the failure modes in human-annotated taxonomies and surface additional patterns that those taxonomies miss. The emergent theoretical narrative aligns with prior expert accounts. Used as a deductive feature space, the codebook outperforms zero-shot and few-shot LLM baselines on downstream failure prediction. These results suggest Grounded Theory offers a scalable analytic tool for ML researchers and agent developers studying what agents actually do.

한 줄 요약

AutoTraceGT는 대규모 에이전트 트레이잭토리 분석을 위한 첫 번째 자동화된 Grounded Theory 파이프라인으로, 7,500개 이상의 데이터에서 73-91%의 실패 원인을 복구한다.

핵심 기여도

AutoTraceGT: OpenCode, AxialCode, TheoreticalCode 세 에이전트로 구성된 첫 번째 자동화 Grounded Theory 파이프라인.
7,500개 이상의 트레이잭토리에서 실패 원인 복구율 73-91% 달성.
Zero-shot 및 few-shot LLM 기반 실패 예측 성능을 초과하는 코드북 생성.
6개 데이터셋에서 이론적 포화에 도달하며 재현 가능한 코드북 생성.

핵심 아이디어

기존 에이전트 분석 방법은 양적 메타데이터나 고정된 분류기만 사용하여 새로운 패턴을 포착하지 못한다. 본 연구는 사회과학에서 유래한 Grounded Theory를 도입하여, 데이터에서 이론을 유도하는 인덕티브 접근법을 제안한다. AutoTraceGT는 OpenCode, AxialCode, TheoreticalCode 세 단계를 반복하며 이론적 포화에 도달할 때까지 코드북을 생성한다. 이는 기존 분류기와 달리 새로운 실패 패턴을 발견할 수 있는 유연한 프레임워크를 제공한다.

Grounded Theory는 이론적 포화 개념을 통해 데이터 기반으로 분석을 종료하며, 이는 기존의 임의적 종료 기준과 구별된다. AutoTraceGT는 이러한 이론적 포화 기준을 기계적으로 추적하고, 각 단계의 결과를 기록하여 추적 가능성을 확보한다.

기술적 접근법

**AutoTraceGT 파이프라인**: OpenCode, AxialCode, TheoreticalCode 세 에이전트로 구성.
**OpenCode**: 단일 트레이잭토리에 "무엇이 언제 일어나는지"를 기술하는 코드를 생성.
**AxialCode**: 여러 코드된 트레이잭토리를 기반으로 행동 범주를 그룹화.
**TheoreticalCode**: 범주를 이론적 설명으로 통합.
**Manage 에이전트**: 전략적 샘플링과 코드북에 대한 상수 비교를 반복하며 포화에 도달.
**데이터셋**: Tau-Bench, Go-Browse, SWE-Agent, ALFWorld, GAIA, WebShop 등 6개.
**LLM 백본**: 4개 모델 사용.
**샘플 수**: 7,500개 이상의 트레이잭토리.

주요 결과

**73-91% 실패 원인 복구율**: 6개 데이터셋에서 인간이 정의한 실패 분류의 73-91%를 코드북이 복구.
**새로운 패턴 발견**: 기존 분류가 누락한 실패 패턴을 추가적으로 포착.
**이론적 일관성**: 코드북이 전문가가 제시한 오류 연쇄 이론과 일치.
**예측 성능**: 코드북 기반 실패 예측이 few-shot LLM 기반 모델보다 10% 이상 우수.

의의 및 한계

AutoTraceGT는 대규모 에이전트 트레이잭토리 분석을 위한 체계적이고 재현 가능한 프레임워크를 제공하며, 기존 분류기의 제한성을 극복한다. 특히, Grounded Theory의 이론적 포화 기준을 기계화함으로써 분석의 신뢰성을 높인다. 그러나, 코드북 생성 과정에서 사용되는 LLM의 편향이 결과에 영향을 줄 수 있으며, 모든 실패 원인을 포착하지 못하는 경우도 존재한다. 또한, 이론적 포화에 도달하는 데 필요한 반복 횟수는 데이터셋에 따라 변동이 크다.

실용적 활용

AutoTraceGT는 소프트웨어 개발, 웹 브라우징, 딥 레서치 등 복잡한 에이전트 시스템의 행동 분석에 활용 가능하다. 특히, 실패 원인을 시스템적으로 파악하고 예측하는 데 유용하며, 에이전트 평가와 디버깅 과정에서 실용적 도구로 사용될 수 있다.