JudgeBench: A Benchmark for Evaluating LLM-based Judges

LLM-based judges have emerged as a scalable alternative to human evaluation and are increasingly used to assess, compare, and improve models. However, the reliability of LLM-based judges themselves is rarely scrutinized. As LLMs become more advanced, their responses grow more sophisticated, requiring stronger judges to evaluate them. Existing benchmarks primarily focus on a judge's alignment with human preferences, but often fail to account for more challenging tasks where crowdsourced human preference is a poor indicator of factual and logical correctness. To address this, we propose a novel evaluation framework to objectively evaluate LLM-based judges. Based on this framework, we propose JudgeBench, a benchmark for evaluating LLM-based judges on challenging response pairs spanning knowledge, reasoning, math, and coding. JudgeBench leverages a novel pipeline for converting existing difficult datasets into challenging response pairs with preference labels reflecting objective correctness. Our comprehensive evaluation on a collection of prompted judges, fine-tuned judges, multi-agent judges, and reward models shows that JudgeBench poses a significantly greater challenge than previous benchmarks, with many strong models (e.g., GPT-4o) performing just slightly better than random guessing. Overall, JudgeBench offers a reliable platform for assessing increasingly advanced LLM-based judges. Data and code are available at https://github.com/ScalerLab/JudgeBench.

한 줄 요약

JudgeBench는 LLM 기반 심사자 평가를 위한 새로운 벤치마크로, 기존 평가 기준보다 훨씬 어려운 과제를 제시한다.

핵심 기여도

JudgeBench는 지식, 추론, 수학, 코딩 분야의 어려운 응답 쌍을 기반으로 LLM 기반 심사자를 평가하는 새로운 프레임워크를 제시.
기존 데이터셋을 활용한 새로운 파이프라인으로, 정확성 기반의 선호 라벨을 생성.
GPT-4o와 같은 강력한 모델도 난수 추정 수준에 가까운 성능을 보임.
데이터와 코드는 공개 (https://github.com/ScalerLab/JudgeBench).

핵심 아이디어

LLM 기반 심사자는 모델 평가에 널리 사용되지만, 그 자체의 신뢰성은 거의 검토되지 않았다. 기존 벤치마크는 주로 인간 선호와의 일치 여부를 중점적으로 평가하지만, 사실적·논리적 정확성에 대한 평가에는 한계가 있다. 이에 저자들은 **정확성 기반의 선호 라벨**을 생성하는 새로운 프레임워크를 제안하며, 이를 바탕으로 **JudgeBench**라는 새로운 벤치마크를 개발했다. 이는 기존 평가가 인간 선호에 지나치게 의존하는 문제를 해결하고, LLM의 진정한 정확성을 평가하는 데 초점을 맞춘다.

기술적 접근법

기존 어려운 데이터셋을 활용한 파이프라인으로, **정확성 기반의 응답 쌍과 선호 라벨** 생성.
평가 대상: 프롬프트 기반 심사자, 미세조정된 심사자, 멀티에이전트 심사자, 보상 모델.
평가 범주: 지식, 추론, 수학, 코딩.
GPT-4o와 같은 모델이 난수 추정 수준에 가까운 성능을 보임.

주요 결과

GPT-4o는 JudgeBench에서 난수 추정 수준에 가까운 성능을 보임.
기존 벤치마크 대비 **JudgeBench는 훨씬 더 어려운 평가 기준**을 제공.
다양한 심사자 유형(예: 미세조정, 멀티에이전트)이 모두 낮은 성능을 보임.

의의 및 한계

JudgeBench는 LLM 기반 심사자의 진정한 능력을 객관적으로 평가하는 데 기여하며, 모델 개선과 비교에 중요한 기준이 될 수 있다. 그러나 **JudgeBench가 포함하는 데이터셋의 범위**나 **평가 대상 모델의 종류**는 명시되지 않았으며, 특정 분야에 대한 심층 평가가 필요한 경우 한계가 있을 수 있다.

실용적 활용

JudgeBench는 LLM 기반 심사자의 신뢰도를 평가하는 데 활용될 수 있으며, 모델 개선, 비교, 최적화 과정에서 중요한 도구가 될 수 있다. 특히, 모델의 정확성과 논리적 일관성을 중시하는 연구 및 산업 분야에서 유용하게 사용될 수 있다.