τ-Emotion-Bench: Exposing the Interaction Fragility of LLM Agents through Real-World User Emotions

In long-horizon tool-calling tasks, LLM agents can fail not only because of tool-use errors, but also because of ineffective interaction with users. Yet existing benchmarks largely assume cooperative and behaviorally stable users, leaving the effect of emotional variation on agent reliability underexplored. We introduce τ-Emotion-Bench, a ten-domain benchmark for evaluating tool-calling agents under controlled emotion-conditioned user interactions while preserving the underlying task objective. To scale both benchmark construction and agent training, we introduce Tracer, a scalable agentic data-generation pipeline that constructs grounded, policy-valid tasks and collects trajectories through an interactive agent--user--environment harness. By allowing dissatisfied users to terminate inefficient interactions, the harness provides an interaction-aware signal that filters trajectories with excessive user dependence and favors effective tool use. Experiments with two user simulators show that frontier agents remain unreliable, with substantial gaps between average task success and consistent task completion. Tracer-generated supervision consistently improves Qwen3 models across scales, generalizes to unseen domains, and transfers to τ-Bench and τ-Trait. Behavioral analyses further show that higher task success is associated with a better balance between tool execution and necessary user follow-up. Overall, τ-Emotion-Bench and Tracer provide a scalable framework for evaluating agent reliability under diverse user behaviors and improving tool-calling agents through interaction-aware supervision.

한 줄 요약

τ-Emotion-Bench와 Tracer를 통해 감정 조건에 따른 사용자 상호작용이 LLM 에이전트 신뢰도에 미치는 영향을 평가하고 훈련 데이터를 생성한다.

핵심 기여도

τ-Emotion-Bench: 10개 도메인, 감정 조건에 따른 사용자 상호작용을 고려한 툴 호출 에이전트 평가 벤치마크.
Tracer: 감정 조건에 맞춘 에이전트-사용자-환경 허네스를 통해 정책 유효한 작업과 상호작용 효율성을 반영한 훈련 데이터 생성 파이프라인.
Qwen3 모델에서 Tracer 훈련이 1.7B, 4B, 8B 규모에서 각각 17.1–25.2% 포인트의 성능 향상.
Tracer-Low는 1,498개의 훈련 데이터로 6개의 미见过 도메인에서 최고 성능 기록.

핵심 아이디어

기존 평가 시스템은 사용자가 협력적이고 안정적인 행동을 한다는 가정에 기반해, 감정 변화가 에이전트 신뢰도에 미치는 영향을 충분히 탐구하지 못했다. τ-Emotion-Bench는 감정 조건에 따른 사용자 행동을 시뮬레이션하면서도 기본 작업 목표를 유지하는 방식으로, 에이전트가 실제 사용자와의 상호작용에서 얼마나 신뢰할 수 있는지를 평가한다. Tracer는 감정 조건에 맞춘 에이전트-사용자-환경 허네스를 통해, 사용자가 불만족 시 상호작용을 종료하도록 허용함으로써, 과도한 사용자 의존성을 필터링하고 툴 사용 효율성을 강화하는 훈련 데이터를 생성한다. 이는 단순히 작업 완료 여부가 아닌, 상호작용의 효율성과 정책 준수를 동시에 평가하는 새로운 신호를 도입한 것이다.

기술적 접근법

τ-Emotion-Bench: 10개 도메인, 580개 실행 가능한 작업, 5개 감정 패밀리와 세부 행동 속성으로 구성.
Tracer: 정책 유효한 툴 워크플로우를 기반으로 작업 생성, 감정 조건에 맞춘 상호작용 허네스를 통해 훈련 데이터 수집.
사용자 시뮬레이터가 불만족 시 상호작용 종료(###UNSATISFIED###)를 통해 비효율적 트래젝토리 필터링.
평가 지표: Avg@3 (3회 시도 평균 성공률), Pass^k (k회 이상 성공한 작업 비율).

주요 결과

GLM-5.2 사용자 시뮬레이터에서 GLM-5.3 모델의 Avg@3: 78.6%, Pass^3: 66.5%.
Qwen3-235B-A22B-Instruct-2507 시뮬레이터에서 DeepSeek-V4.1-Flash 모델의 Avg@3: 55.9%, Pass^3: 32.2%.
Tracer-High는 Qwen3-1.7B, 4B, 8B 모델에서 각각 17.1–25.2% 포인트 향상, Tracer-High-8B는 54.7% 달성.
Tracer-Low는 1,498개 훈련 데이터로 6개 미见过 도메인에서 최고 Pass^3 기록.
τ-Bench와 τ-Trait으로도 성능 전이 성공.

의의 및 한계

τ-Emotion-Bench와 Tracer는 감정 조건에 따른 사용자 행동이 에이전트 신뢰도에 미치는 영향을 체계적으로 평가하고 훈련 데이터를 생성할 수 있는 확장 가능한 프레임워크를 제공한다. 특히, 상호작용 효율성과 정책 준수를 동시에 고려한 평가 시스템은 기존 평가 방법의 한계를 보완한다. 그러나 사용자 시뮬레이터의 감정 표현이 실제 사용자와 얼마나 유사한지는 명시되지 않았으며, 감정 조건 외 다른 사용자 행동 패턴을 고려한 확장 가능성도 제시되지 않았다.

실용적 활용

감정 조건에 따른 사용자 상호작용을 고려한 τ-Emotion-Bench와 Tracer는 고객 서비스, 챗봇, 개인 비서 등 사용자와 직접 상호작용하는 AI 에이전트의 신뢰도 향상에 활용 가능하다. 특히, 상호작용 효율성과 정책 준수를 동시에 강화하는 훈련 방식은 실제 서비스 환경에서의 에이전트 성능을 개선하는 데 기여할 수 있다.