AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence

Emotional intelligence (EI), the ability to perceive, understand, and respond appropriately to others' emotional states, is central to human communication, and increasingly important to assess as LLMs assume conversational roles in everyday life. Existing EI benchmarks rely on synthetic prompts, single-turn cases, or third-party annotation. These approaches do not directly measure how models infer and respond to a participant's emotional state over the course of a real conversation. We introduce AttuneBench, a benchmark grounded in 200 genuine multi-turn human-model conversations in which participants conversed with anonymized LLMs and provided turn-by-turn annotations of their emotional state, the model's behavior, and their preferred responses. Across 11 evaluated models, we find that model rankings on emotion recognition, behavioral classification, preference prediction, and judged response quality are largely independent, indicating that emotionally intelligent behavior decomposes into separable capabilities. Preference alignment and response-quality judgments are substantially more model-discriminating than emotion-label accuracy. These results indicate that emotionally intelligent behavior requires predicting what kind of response a specific user wants in context, a distinction that aggregate scoring can obscure and that single-turn or synthetic formats cannot directly capture across turns. AttuneBench provides a framework for assessing each of these capabilities and for diagnosing model-specific strengths and failure modes in emotionally salient conversation.

📋 한 줄 요약

**[LLM Emotional Intelligence / 멀티턴 벤치]** AttuneBench가 200건 real human-model 대화에 turn-by-turn 감정·행동·선호 응답 annotation 부여, 11 모델 비교에서 emotion recognition·behavior 분류·preference 예측·response 품질 ranking이 largely 독립적임을 발견.

🎯 핵심 기여도

Emotional intelligence(EI) — 타인 감정 상태를 인지·이해·적절 응답하는 능력 — 가 인간 소통의 핵심이며 LLM이 일상 대화 역할을 맡으며 점점 평가 필요함을 배경 소개.
기존 EI 벤치마크가 synthetic prompt·단일 turn 사례·제3자 annotation에 의존해 모델이 실제 대화 흐름에서 참가자 감정을 어떻게 추론·응답하는지 직접 측정 못함을 지적.
AttuneBench 도입 — 200건의 진짜 multi-turn human-model 대화에 기반, 참가자가 익명 LLM과 대화하며 본인 감정·모델 행동·선호 응답을 turn-by-turn annotation 제공.
11 평가 모델에 대해 emotion recognition·behavior classification·preference prediction·judged response quality에서 ranking이 largely 독립적임을 발견 — emotionally intelligent 행동이 분리 가능한 capability로 decompose됨. Preference alignment·response-quality judgment가 emotion-label accuracy보다 model-discriminating.

💡 핵심 아이디어

LLM의 emotional intelligence 평가는 synthetic·single-turn으로 캡처 불가능하며, 실제 turn-by-turn 사용자 annotation에 기반한 멀티턴 평가에서 EI가 emotion recognition·behavior classification·preference prediction·response quality 등 분리 가능한 capability로 decompose된다 — 특히 preference alignment가 진짜 model-discriminating 신호다.

🔬 기술적 접근법

**방법론**: AttuneBench — 200 real human-model 대화 + turn-by-turn 사용자 annotation.
**핵심 기법**: (1) 참가자가 anonymized LLM과 multi-turn 대화, (2) 각 turn마다 emotional state·model behavior·preferred response annotation 제공, (3) 11 모델 평가, (4) Emotion recognition·behavior classification·preference prediction·response quality 4축 분리 평가, (5) 모델 ranking 독립성 분석으로 EI capability decomposition.

📊 주요 결과

11 모델에서 4 축의 모델 ranking이 largely 독립적.
Preference alignment·response-quality judgment가 emotion-label accuracy보다 model-discriminating.
Emotionally intelligent 행동이 분리 가능한 capability로 decompose됨 확인.
Aggregate 단일 점수가 모델별 강점·실패 mode obscure함을 입증.

💭 의의 및 한계

**의의**: 진짜 사용자 turn-by-turn annotation의 LLM EI 평가 표준 제시, EI 평가의 multi-axis decomposition framework, 모델별 강점·실패 mode 진단 가능. **한계**: 200건의 dataset 규모 한정, 자기 보고 annotation의 주관성, anonymized LLM 풀의 대표성, EI의 cultural·언어 다양성 추가 검증 필요.

🚀 실용적 활용

LLM 대화 EI 평가 표준 벤치.
모델별 EI 강점·실패 진단.
Companion·care AI의 EI 학습·평가.