tinyBenchmarks: evaluating LLMs with fewer examples

The versatility of large language models (LLMs) led to the creation of diverse benchmarks that thoroughly test a variety of language models' abilities. These benchmarks consist of tens of thousands of examples making evaluation of LLMs very expensive. In this paper, we investigate strategies to reduce the number of evaluations needed to assess the performance of an LLM on several key benchmarks. For example, we show that to accurately estimate the performance of an LLM on MMLU, a popular multiple-choice QA benchmark consisting of 14K examples, it is sufficient to evaluate this LLM on 100 curated examples. We release evaluation tools and tiny versions of popular benchmarks: Open LLM Leaderboard, MMLU, HELM, and AlpacaEval 2.0. Our empirical analysis demonstrates that these tools and tiny benchmarks are sufficient to reliably and efficiently reproduce the original evaluation results.

한 줄 요약

tinyBenchmarks는 대형 언어 모델(LLM) 평가를 100개 미만의 예시로 정확히 재현할 수 있도록 설계된 도구와 축소된 벤치마크 데이터셋을 제공한다.

핵심 기여도

MMLU 벤치마크(14,000개 예시)에서 100개의 정제된 예시만으로 LLM 성능을 2% 이하 오차로 추정 가능.
IRT(항목 반응 이론) 기반 평가 전략을 도입하여 예시를 클러스터링하고, 추정 정확도를 향상.
Open LLM Leaderboard, MMLU, HELM, AlpacaEval 2.0의 축소 버전을 공개.
평가 도구와 HuggingFace, Google Colab에서 사용 가능한 데모를 제공.

핵심 아이디어

기존 LLM 평가 벤치마크는 수만 개의 예시를 포함하여 비용이 높고 시간이 많이 소요된다. 본 연구는 교육 평가 이론인 IRT를 LLM 평가에 적용하여, 예시를 클러스터링하고 핵심적인 100개 예시만으로도 전체 성능을 정확히 추정할 수 있음을 보여준다. IRT는 각 예시의 난이도와 구분력을 파라미터로 학습하고, 이를 통해 유사한 특성을 가진 예시를 그룹화하여 평가 집합을 축소한다. 또한, 모델의 정답 여부를 기반으로 클러스터링하는 "correctness" 전략과, 단순 무작위 샘플링인 "stratified random sampling"을 비교하며, IRT 기반 전략이 가장 높은 정확도를 보인다.

기술적 접근법

**IRT 모델**: 예시의 난이도(β)와 구분력(α)을 파라미터로 학습.
**Anchor Points**: 기존 평가된 LLM의 정답 데이터를 기반으로 예시를 클러스터링.
**tinyBenchmarks**: 각 시나리오당 100개의 예시로 구성된 축소 데이터셋.
**평가 전략**: "random", "correctness", "IRT" 세 가지 전략, 각각 "++" 버전으로 IRT 모델을 활용한 추정값 조정.
**모델 분할**: "random split"과 "by date" 두 가지 방식으로 학습/테스트 모델을 분리.

주요 결과

MMLU에서 100개 예시로 평가 시, 전체 평가와의 평균 오차는 2% 미만.
HELM, Open LLM Leaderboard, AlpacaEval 2.0에서도 유사한 수준의 정확도 달성.
IRT 기반 전략은 "random" 전략 대비 평균적으로 1.5% 이상의 추정 정확도 향상.
100개 예시로 평가 시, 기존 14,000개 예시 평가 대비 99% 이상의 예시 수 감소.

의의 및 한계

**의의**: LLM 평가 비용(계산, 환경, 금전)을 크게 절감하고, 연구자들이 더 자주 모델을 평가할 수 있도록 지원.
**한계**: IRT 모델은 기존 평가 데이터가 필요하며, 특정 도메인에 특화된 LLM에서는 정확도가 낮아질 수 있음. 또한, 새로운 LLM이 등장할 경우 anchor points가 불확실해질 수 있음.

실용적 활용

tinyBenchmarks는 LLM 개발자들이 프리트레이닝 중간 점검, 프롬프트 최적화, 하이퍼파라미터 조정 시 빠르고 저비용으로 모델 성능을 평가하는 데 유용하게 활용될 수 있다. 특히, GPU 자원이 제한된 연구 환경이나 실시간 모델 성능 모니터링이 필요한 산업 현장에서 효과적이다.