From Crowdsourced Data to High-Quality Benchmarks: Arena-Hard and BenchBuilder Pipeline

The rapid evolution of Large Language Models (LLMs) has outpaced the development of model evaluation, highlighting the need for continuous curation of new, challenging benchmarks. However, manual curation of high-quality, human-aligned benchmarks is expensive and time-consuming. To address this, we introduce BenchBuilder, an automated pipeline that leverages LLMs to curate high-quality, open-ended prompts from large, crowd-sourced datasets, enabling continuous benchmark updates without human in the loop. We apply BenchBuilder to datasets such as Chatbot Arena and WildChat-1M, extracting challenging prompts and utilizing LLM-as-a-Judge for automatic model evaluation. To validate benchmark quality, we propose new metrics to measure a benchmark's alignment with human preferences and ability to separate models. We release Arena-Hard-Auto, a benchmark consisting 500 challenging prompts curated by BenchBuilder. Arena-Hard-Auto provides 3x higher separation of model performances compared to MT-Bench and achieves 98.6% correlation with human preference rankings, all at a cost of $20. Our work sets a new framework for the scalable curation of automated benchmarks from extensive data.

한 줄 요약

BenchBuilder 파이프라인을 통해 자동화된 고질량 벤치마크 Arena-Hard-Auto를 구축하여 98.6%의 인간 선호도와 3배 높은 모델 구분력을 달성.

핵심 기여도

BenchBuilder: LLM을 활용한 자동화된 벤치마크 생성 파이프라인 제안.
Arena-Hard-Auto: 500개의 고난도 프롬프트로 구성된 벤치마크, 인간 선호도와 98.6% 상관.
새로운 평가 지표 제안: 모델 구분력과 인간 선호도 일치도 측정.
총 비용 $20로 기존 수작업 대비 6,000배 저렴한 벤치마크 생성.

핵심 아이디어

기존 벤치마크는 수작업으로 구성되어 비용이 높고 정적이라는 한계를 가짐. 이에 반해, BenchBuilder는 LLM을 활용해 대규모 크라우드소스 데이터(예: Chatbot Arena, WildChat-1M)에서 고질량 프롬프트를 자동으로 추출하고, LLM-as-a-Judge 프레임워크를 통해 모델 평가를 자동화함. 이는 7가지 퀄리티 지표(예: 구체성, 도메인 지식)를 기반으로 프롬프트를 필터링하고, GPT-4-Turbo 또는 Gemini-1.5-Pro 같은 강력한 LLM을 사용해 모델 간 비교를 수행함. 특히, 두 모델의 위치를 교체하는 두 게임 방식을 도입해 위치 편향을 최소화하고, 스타일 편향(예: 답변 길이)을 분석하여 보정함.

기술적 접근법

**BenchBuilder 파이프라인**: 크라우드소스 데이터(예: Chatbot Arena, WildChat-1M)에서 고질량 프롬프트를 7가지 지표(구체성, 도메인 지식 등)를 기준으로 자동 필터링.
**LLM-as-a-Judge**: GPT-4-Turbo, Gemini-1.5-Pro 등 강력한 LLM을 사용해 모델 간 비교를 5점 척도로 평가.
**두 게임 방식**: 모델 A와 B의 위치를 교체하여 위치 편향을 제거.
**Chain-of-thought 프롬프팅**: LLM 판정자가 자체 해결 후 판단을 내림.
**Bootstrap 기반 평가**: 1,000개의 판정을 기반으로 신뢰 구간 계산 및 순위 산출.

주요 결과

**Arena-Hard-Auto**: 500개의 고난도 프롬프트로 구성, MT-Bench 대비 3배 높은 모델 구분력.
**인간 선호도 일치도**: Chatbot Arena 순위와 98.6% 상관.
**비용 효율성**: 총 $20에 구축, GPQA(500문항, $120,000) 대비 6,000배 저렴.
**신뢰도**: 부트스트랩 기반 평가로 신뢰 구간이 좁고, 모델 간 구분력이 높음.

의의 및 한계

BenchBuilder는 LLM 기반 자동화 벤치마크 생성의 새로운 프레임워크를 제시하며, 기존 수작업 방식의 비용과 시간 문제를 해결함. 또한, LLM-as-a-Judge를 활용한 평가 방식은 인간 평가의 대체 솔루션으로서 실용적 가치가 큼. 그러나 LLM 판정자의 편향(예: 스타일, 길이)이 여전히 존재하며, 이에 대한 보완이 필요함. 또한, BenchBuilder는 크라우드소스 데이터에 의존하므로 데이터 품질에 따라 결과가 달라질 수 있음.

실용적 활용

LLM 개발자들이 모델 성능을 신속하고 저비용으로 평가할 수 있도록 지원하며, 특히 대규모 데이터에서 고질량 벤치마크를 추출해야 하는 연구 및 산업 현장에서 유용함. 또한, BenchBuilder 파이프라인은 다른 도메인(예: 의료, 법률)에서도 벤치마크 자동화에 활용 가능.