WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild

We introduce WildBench, an automated evaluation framework designed to benchmark large language models (LLMs) using challenging, real-world user queries. WildBench consists of 1,024 tasks carefully selected from over one million human-chatbot conversation logs. For automated evaluation with WildBench, we have developed two metrics, WB-Reward and WB-Score, which are computable using advanced LLMs such as GPT-4-turbo. WildBench evaluation uses task-specific checklists to evaluate model outputs systematically and provides structured explanations that justify the scores and comparisons, resulting in more reliable and interpretable automatic judgments. WB-Reward employs fine-grained pairwise comparisons between model responses, generating five potential outcomes: much better, slightly better, slightly worse, much worse, or a tie. Unlike previous evaluations that employed a single baseline model, we selected three baseline models at varying performance levels to ensure a comprehensive pairwise evaluation. Additionally, we propose a simple method to mitigate length bias, by converting outcomes of ``slightly better/worse'' to ``tie'' if the winner response exceeds the loser one by more than $K$ characters. WB-Score evaluates the quality of model outputs individually, making it a fast and cost-efficient evaluation metric. WildBench results demonstrate a strong correlation with the human-voted Elo ratings from Chatbot Arena on hard tasks. Specifically, WB-Reward achieves a Pearson correlation of 0.98 with top-ranking models. Additionally, WB-Score reaches 0.95, surpassing both ArenaHard's 0.91 and AlpacaEval2.0's 0.89 for length-controlled win rates, as well as the 0.87 for regular win rates.

한 줄 요약

WildBench는 실제 사용자 채팅 로그에서 추출한 1,024개의 과제를 기반으로 LLM을 평가하는 자동 평가 프레임워크로, WB-Reward와 WB-Score라는 두 메트릭을 통해 높은 신뢰도의 자동 평가를 제공한다.

핵심 기여도

WildBench는 1,024개의 실제 사용자-챗봇 대화 로그에서 추출한 과제로 구성되어 있으며, 기존 평가 데이터셋 대비 더 넓은 범위와 현실성 제공.
WB-Reward는 3개의 기준 모델과의 세부 비교를 통해 5가지 결과를 도출하며, WB-Score는 개별 모델의 생성 품질을 1-10점 척도로 평가.
길이 편향을 줄이기 위해 'slightly better/worse' 결과를 'tie'로 전환하는 간단한 길이 패널티 방법 제안.
WB-Reward는 인간 평가 Elo 점수와 0.98의 피어슨 상관관계를 보이며, WB-Score는 0.95의 상관관계를 기록.

핵심 아이디어

WildBench는 기존 평가 데이터셋이 현실 사용자 질의를 반영하지 못한다는 문제를 해결하기 위해 설계되었다. 사용자-챗봇 대화 로그에서 과제를 추출하고, LLM을 활용한 자동 평가 프레임워크를 구축함으로써, 인간 평가와 유사한 신뢰도를 달성하려는 것이 핵심이다. 특히, WB-Reward는 세 개의 기준 모델과의 비교를 통해 세부 평가를 수행하며, WB-Score는 개별 생성물의 품질을 빠르게 평가할 수 있는 장점을 가진다. 또한, 길이 편향을 줄이기 위해 'slightly better/worse' 결과가 길이 차이가 500자 이상일 경우 'tie'로 전환하는 간단한 알고리즘을 도입하여 평가의 공정성을 높였다.

기술적 접근법

**데이터**: WildBench는 AI2의 WildChat 프로젝트에서 제공된 100만 개 이상의 사용자-챗봇 대화 로그에서 1,024개의 과제를 선별.
**평가 메트릭**:
**WB-Reward**: 세 개의 기준 모델과의 세부 비교를 통해 5가지 결과('much better', 'slightly better', 'tie', 'slightly worse', 'much worse')를 도출.
**WB-Score**: 개별 모델의 생성 품질을 1-10점 척도로 평가.
**길이 패널티**: 'slightly better/worse' 결과가 길이 차이가 500자 이상일 경우 'tie'로 전환.
**CoT 프롬프팅**: LLM을 활용한 체크리스트 기반의 단계적 평가를 통해 평가의 일관성과 해석성을 높임.

주요 결과

**WB-Reward**: 상위 모델과의 인간 평가 Elo 점수와 0.98의 피어슨 상관관계를 기록.
**WB-Score**: 상위 모델과의 인간 평가 Elo 점수와 0.95의 피어슨 상관관계를 기록.
**ArenaHard 대비 성능**: WB-Score는 길이 제어된 승률 기준 0.91 대비 0.95, 일반 승률 기준 0.87 대비 0.95를 달성.
**AlpacaEval2.0 대비 성능**: WB-Score는 0.89 대비 0.95를 달성.

의의 및 한계

WildBench는 실제 사용자 질의를 반영한 평가 데이터셋으로, 기존 평가 방식보다 현실성을 높이고, LLM의 다양한 능력을 종합적으로 평가할 수 있는 장점을 가진다. 특히, 체크리스트와 CoT 프롬프팅을 활용한 평가 방식은 해석성과 신뢰도를 동시에 확보하는 데 기여한다. 그러나, 사용자 로그 기반의 데이터셋은 특정 사용자 집단에 편향될 수 있으며, 모든 모델에 동일한 데이터를 제공하는 데 한계가 있을 수 있다. 또한, 평가에 사용되는 GPT-4-turbo와 같은 고성능 LLM은 비용이 높아 대규모 평가에는 부담이 될 수 있다.

실용적 활용

WildBench는 챗봇, 코드 생성, 창의적 글쓰기 등 다양한 실제 사용자 작업을 포함하고 있어, LLM의 실용적 성능을 평가하는 데 적합하다. 특히, 기업이 새로운 LLM을 도입하거나, 연구자들이 모델의 개선 효과를 측정할 때 활용할 수 있다. 또한, 평가 결과를 바탕으로 모델의 강점과 약점을 파악하여 개선 방향을 제시하는 데 유용하다.