CharacterEval: A Chinese Benchmark for Role-Playing Conversational Agent Evaluation

Recently, the advent of large language models (LLMs) has revolutionized generative agents. Among them, Role-Playing Conversational Agents (RPCAs) attract considerable attention due to their ability to emotionally engage users. However, the absence of a comprehensive benchmark impedes progress in this field. To bridge this gap, we introduce CharacterEval, a Chinese benchmark for comprehensive RPCA assessment, complemented by a tailored high-quality dataset. The dataset comprises 1,785 multi-turn role-playing dialogues, encompassing 23,020 examples and featuring 77 characters derived from Chinese novels and scripts. It was carefully constructed, beginning with initial dialogue extraction via GPT-4, followed by rigorous human-led quality control, and enhanced with in-depth character profiles sourced from Baidu Baike. CharacterEval employs a multifaceted evaluation approach, encompassing thirteen targeted metrics on four dimensions. Comprehensive experiments on CharacterEval demonstrate that Chinese LLMs exhibit more promising capabilities than GPT-4 in Chinese role-playing conversation. Source code, data source and reward model will be publicly accessible at https://github.com/morecry/CharacterEval.

한 줄 요약

CharacterEval은 중국어 역할극 대화 에이전트를 평가하기 위한 체계적인 벤치마크와 데이터셋을 제시한다.

핵심 기여도

1,785개의 다중 턴 역할극 대화를 포함한 11,376개 예시로 구성된 고질량 중국어 역할극 대화 데이터셋 구축.
77개 중국 소설 및 스크립트 인물 기반, Baidu Baike에서 인물 프로필을 결합한 데이터셋 개발.
4차원 13개 지표로 구성된 평가 시스템 제안: 대화 능력, 인물 일관성, 역할극 매력도, 성격 백테스트.
CharacterRM이라는 역할극 기반 보상 모델 개발, 인간 평가와의 상관관계가 GPT-4보다 높음.

핵심 아이디어

기존 대화 시스템은 단순한 정보 전달이나 공감 대화에 초점을 맞추지만, 역할극 대화 에이전트(RPCA)는 사용자와의 감정적 교감을 중시한다. 그러나 RPCA의 성능을 체계적으로 평가할 수 있는 벤치마크가 부재하여 연구 진전이 제한되었다. 이를 해결하기 위해, CharacterEval은 중국어 역할극 대화를 위한 체계적인 평가 기준과 데이터셋을 제시한다. GPT-4를 활용한 대화 추출 후, 인간 중심의 품질 검증 과정을 거쳐 11,376개의 예시를 포함한 데이터셋을 구축했다. 또한, 인물의 지식, 성격, 대화 일관성을 평가하는 13개 지표를 4차원 평가 체계에 통합하여 RPCA의 다면적 능력을 측정한다. 특히, 인간 평가와 높은 상관관계를 보이는 CharacterRM 보상 모델을 개발하여 주관적 평가를 자동화했다.

기술적 접근법

**데이터셋 구성**: 1,785개의 다중 턴 역할극 대화, 11,376개 예시, 77개 중국 소설 및 스크립트 인물.
**데이터 생성 과정**: GPT-4로 대화 추출 → 기본 전처리 → 인간 평가자에 의한 품질 필터링 → Baidu Baike 인물 프로필 결합.
**평가 체계**: 4차원 13개 지표 (대화 능력, 인물 일관성, 역할극 매력도, 성격 백테스트).
**보상 모델**: CharacterRM, 인간 평가와의 상관관계가 GPT-4보다 높음.
**실험 대상 모델**: 중국어 LLM과 GPT-4 비교 실험 수행.

주요 결과

**대화 능력**: 중국어 LLM이 GPT-4보다 역할극 대화에서 더 높은 성능을 보임.
**인물 일관성**: 중국어 LLM이 인물의 지식과 성격을 더 정확하게 유지함.
**역할극 매력도**: 중국어 LLM이 인간 유사성, 표현 다양성, 공감 능력에서 우수함.
**성격 백테스트**: MBTI 기반 성격 정확도 측정에서 중국어 LLM이 GPT-4보다 높은 정확도를 보임.
**보상 모델 성능**: CharacterRM은 인간 평가와의 상관관계가 GPT-4보다 높음.

의의 및 한계

CharacterEval은 역할극 대화 에이전트의 다면적 평가를 가능하게 하며, 중국어 RPCA 연구와 개발에 중요한 기반을 제공한다. 특히, GPT-4보다 중국어 LLM이 역할극 대화에서 더 우수한 성능을 보이는 점은 중국어 모델의 잠재력을 입증한다. 그러나 데이터셋은 중국어 소설 및 스크립트에만 기반하므로, 다른 문화권의 역할극 대화 평가에는 한계가 있다. 또한, 인간 평가를 기반으로 한 보상 모델은 대규모 자동 평가에 부담이 될 수 있다.

실용적 활용

CharacterEval은 중국어 역할극 대화 에이전트를 개발하는 연구자와 엔지니어에게 평가 기준을 제공하며, 게임, 콘텐츠 플랫폼, 가상 친구 서비스 등 감정적 상호작용이 필요한 산업에 적용 가능하다.