MT-Bench-101: A Fine-Grained Benchmark for Evaluating Large Language Models in Multi-Turn Dialogues

The advent of Large Language Models (LLMs) has drastically enhanced dialogue systems. However, comprehensively evaluating the dialogue abilities of LLMs remains a challenge. Previous benchmarks have primarily focused on single-turn dialogues or provided coarse-grained and incomplete assessments of multi-turn dialogues, overlooking the complexity and fine-grained nuances of real-life dialogues. To address this issue, we introduce MT-Bench-101, specifically designed to evaluate the fine-grained abilities of LLMs in multi-turn dialogues. By conducting a detailed analysis of real multi-turn dialogue data, we construct a three-tier hierarchical ability taxonomy comprising 4208 turns across 1388 multi-turn dialogues in 13 distinct tasks. We then evaluate 21 popular LLMs based on MT-Bench-101, conducting comprehensive analyses from both ability and task perspectives and observing differing trends in LLMs performance across dialogue turns within various tasks. Further analysis indicates that neither utilizing common alignment techniques nor chat-specific designs has led to obvious enhancements in the multi-turn abilities of LLMs. Extensive case studies suggest that our designed tasks accurately assess the corresponding multi-turn abilities. The data and code are available at \url{https://github.com/mtbench101/mt-bench-101}.

한 줄 요약

MT-Bench-101은 13개의 다차례 대화 태스크를 기반으로 LLM의 세부 대화 능력을 평가하는 새로운 벤치마크이다.

핵심 기여도

1388개의 다차례 대화, 4208개의 대화 턴을 포함한 세부 능력 평가 벤치마크 MT-Bench-101 제안.
3단계 계층적 능력 분류 체계(Perceptivity, Adaptability, Interactivity)를 통해 LLM의 대화 능력을 세분화.
21개의 주요 LLM 평가 결과를 통해 기존 정렬 기법(RLHF)이나 대화 전용 설계가 다차례 대화 능력 향상에 효과적이지 않음을 밝힘.
GPT-4를 사용한 평가와 인간 평가 간 87%의 일치도를 기록하며 평가 신뢰도를 입증.

핵심 아이디어

기존 대화 평가 벤치마크는 단일 턴 중심이거나 다차례 대화의 복잡성을 충분히 반영하지 못했다. 이에 MT-Bench-101은 실제 대화 데이터와 교육 심리학적 틀을 결합하여 3단계 계층적 능력 분류 체계를 설계했다. 이 체계는 Perceptivity(맥락 이해), Adaptability(피드백 대응), Interactivity(적극적 참여)의 3개 주요 능력을 기반으로 하며, 각 능력은 7개의 세부 능력과 13개의 태스크로 세분화된다. 평가 시에는 GPT-4가 각 턴을 1~10점으로 평가하며, 대화 전체의 최저 점수를 최종 점수로 삼는 방식을 채택해 한 번의 실패가 전체 대화에 영향을 미친다는 현실을 반영했다.

기술적 접근법

**데이터셋**: 1388개의 다차례 대화, 4208개의 턴을 포함한 MT-Bench-101.
**능력 분류 체계**: 3단계 계층 구조 (Perceptivity → Adaptability → Interactivity).
**평가 방법**: GPT-4를 사용한 턴별 점수 부여 (1~10점), 최저 점수를 대화 전체 점수로 삼는 최소 점수 채택 방식.
**LLM 평가 대상**: 21개 LLM (2개는 클로즈드, 19개는 오픈소스).
**정렬 기법**: RLHF 등 기존 정렬 기법이 다차례 대화 능력 향상에 효과적이지 않음.

주요 결과

GPT-4가 13개 태스크에서 가장 높은 성능을 보임.
모델 크기가 커질수록 성능 향상이 관찰됨.
RLHF나 대화 전용 설계가 다차례 대화 능력 향상에 유의미한 영향을 미치지 않음.
GPT-4 평가와 인간 평가 간 일치도는 87%에 달함.
Adaptability와 Interactivity 능력이 기존 LLM들의 주요 결함으로 드러남.

의의 및 한계

MT-Bench-101은 기존 대화 평가 벤치마크의 한계를 보완하고, LLM의 다차례 대화 능력을 세부적으로 평가할 수 있는 체계를 제공한다. 특히, GPT-4와 인간 평가 간의 높은 일치도는 평가의 신뢰성을 입증한다. 그러나 본 연구는 주로 GPT-4 기반 평가를 사용했기 때문에, 다른 평가자 모델과의 비교는 제한적이다. 또한, 평가 태스크는 실제 대화 상황을 충분히 반영하지 못할 가능성도 존재한다.

실용적 활용

MT-Bench-101은 대화형 AI 개발자들이 LLM의 대화 능력을 정확히 평가하고, 모델 개선 방향을 설정하는 데 유용하게 활용될 수 있다. 특히, 대화 로봇, 고객 지원 시스템, 가상 보조기 등 실시간 대화 기반의 산업 분야에서 모델 성능 검증에 적합하다.