Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows

Large Language Models (LLMs) are increasingly deployed as autonomous agents that reason, use tools, and act over multiple steps. Yet most hallucination benchmarks still evaluate only the final output, missing failures that originate in intermediate Thought-Action-Observation steps. We present Trajel, a dataset and evaluation framework for auditing trajectory-level hallucinations in multi-agent industrial workflows. Trajel introduces a five-type hallucination taxonomy (factual, referential, logical, procedural, and scope-based) over expert-annotated agent traces from AssetOpsBench. We benchmark supervised detection models at the subtask, trajectory, and long-context levels. Our results show that the most common failure modes are missed by existing benchmarks, that nearly half of hallucinated trajectories involve multiple types at once, and that automated detectors with high binary accuracy still misclassify the subtlest types. Trajectory-aware detection significantly outperforms standard post-hoc verification, making taxonomy-grounded evaluation necessary for safer agentic deployment.

📋 한 줄 요약

**[Multi-Agent 환각 평가 / Trajectory-Level]** Trajel이 5-type 환각 taxonomy(factual·referential·logical·procedural·scope)로 Thought-Action-Observation 단계의 환각 평가 — 환각 trajectory의 거의 절반이 multiple type 동반, trajectory-aware 검출이 post-hoc 대비 significant 우월.

🎯 핵심 기여도

LLM이 multiple step에 걸쳐 reasoning·tool use·action 수행하는 autonomous agent로 점차 배포되지만, 대부분 hallucination 벤치마크가 final output만 평가해 intermediate Thought-Action-Observation 단계에서 발생하는 실패를 놓치는 한계 진단.
Trajel 제시 — multi-agent industrial workflow의 trajectory-level hallucination 감사를 위한 데이터셋·평가 프레임워크.
Five-type hallucination taxonomy 도입 (factual, referential, logical, procedural, scope-based) — AssetOpsBench의 expert-annotated agent trace 위에 정의.
Subtask·trajectory·long-context 수준에서 supervised detection 모델 벤치마크.

💡 핵심 아이디어

LLM 에이전트의 환각은 최종 출력이 아니라 중간 Thought-Action-Observation 단계에서 발생·전파하므로, 5-type taxonomy로 trajectory를 fine-grained 분류하고 trajectory-aware로 검출해야 하며, 환각의 거의 절반이 multiple type을 동시에 동반하므로 단일 type 검출로는 불충분하다.

🔬 기술적 접근법

**방법론**: Trajel — 5-type 환각 taxonomy + multi-level supervised detection.
**핵심 기법**: (1) AssetOpsBench의 expert-annotated multi-agent trace 활용, (2) 5-type taxonomy — factual·referential·logical·procedural·scope-based, (3) Supervised detection을 subtask·trajectory·long-context 3 수준에서 평가, (4) Trajectory-aware detection vs post-hoc verification 비교, (5) 자동화 detector의 binary accuracy와 fine-grained type classification 분리 측정.

📊 주요 결과

가장 흔한 실패 모드를 기존 벤치마크가 놓치고 있음 발견.
환각된 trajectory의 nearly 절반이 multiple type을 동시에 포함.
높은 binary accuracy를 보이는 자동 detector도 가장 subtle한 type을 오분류.
Trajectory-aware detection이 standard post-hoc verification보다 significantly outperform — taxonomy-grounded 평가가 safer agentic deployment에 필수.

💭 의의 및 한계

**의의**: Final-only 환각 평가의 paradigm shift 제안, 5-type taxonomy로 환각의 결성도 정량화, industrial workflow에 특화된 evaluation으로 실용성, trajectory-aware detection의 우월성 입증. **한계**: AssetOpsBench 도메인 중심으로 일반 도메인 확장 검증, expert-annotation 비용·확장성, subtle type 자동 검출이 여전히 open challenge.

🚀 실용적 활용

Industrial agent 시스템의 신뢰성 audit.
LLM 에이전트 배포 전 trajectory-level QA.
Agentic 시스템 안전성 평가 프레임워크.