Benchmarking LLMs via Uncertainty Quantification

The proliferation of open-source Large Language Models (LLMs) from various institutions has highlighted the urgent need for comprehensive evaluation methods. However, current evaluation platforms, such as the widely recognized HuggingFace open LLM leaderboard, neglect a crucial aspect -- uncertainty, which is vital for thoroughly assessing LLMs. To bridge this gap, we introduce a new benchmarking approach for LLMs that integrates uncertainty quantification. Our examination involves nine LLMs (LLM series) spanning five representative natural language processing tasks. Our findings reveal that: I) LLMs with higher accuracy may exhibit lower certainty; II) Larger-scale LLMs may display greater uncertainty compared to their smaller counterparts; and III) Instruction-finetuning tends to increase the uncertainty of LLMs. These results underscore the significance of incorporating uncertainty in the evaluation of LLMs.

한 줄 요약

LLM 평가에 불확실성 측정을 통합한 새로운 벤치마킹 방법을 제안하며, 9개 모델을 5개 NLP 태스크에서 평가한 결과를 제시한다.

핵심 기여도

9개 오픈소스 LLM을 5개 NLP 태스크에서 평가하여, 정확도와 불확실성 간 상관관계를 분석.
**Conformal Prediction**을 활용한 불확실성 측정 방법을 제안.
**Instruction-finetuning**이 불확실성을 증가시키는 현상을 발견.
**Set Size (SS)**, **Coverage Rate (CR)**, **Accuracy (Acc)**를 평가 지표로 사용.

핵심 아이디어

현재 LLM 평가 방식은 주로 정확도(Accuracy)에 집중하지만, 이는 모델의 불확실성을 반영하지 못한다는 한계가 있다. 본 연구는 **Conformal Prediction**을 활용하여 LLM의 불확실성을 **통계적으로 엄격한 방식**으로 측정하고, 이를 평가 지표에 통합하는 새로운 접근을 제안한다. 이 방법은 모델에 무관하며, 분포에 의존하지 않아 다양한 LLM에 적용 가능하다. 특히, 기존의 **Bayesian Variational Inference**와 달리 **구현이 용이**하고 **고효율적**이라는 장점을 가진다. 본 연구는 LLM이 **정확도가 높아도 불확실성이 낮을 수 있음**을 밝히고, **Instruction-finetuning**이 불확실성을 증가시킨다는 새로운 통찰을 제시한다.

기술적 접근법

**Conformal Prediction**을 사용하여 불확실성을 측정.
**Softmax 점수**를 기반으로 **Conformal Score Function**을 정의.
**Calibration 데이터셋**을 사용하여 **Threshold $ \hat{q} $**를 계산.
**Prediction Set $ \mathcal{C}(X_t) $**을 생성하여 불확실성을 수치화.
**Set Size (SS)**와 **Coverage Rate (CR)**를 주요 평가 지표로 사용.
5개 NLP 태스크 (질의응답, 독해, 상식 추론, 대화 응답 선택, 문서 요약)에서 10,000개 인스턴스를 사용.
모든 태스크를 **Multiple-Choice Question Answering (MCQA)** 형식으로 변환.

주요 결과

**LLM의 정확도가 높아도 불확실성이 낮을 수 있음** (예: 정확도 높은 모델이 Set Size가 작음).
**Instruction-finetuning**이 불확실성을 증가시킴 (Set Size 증가).
**Larger-scale LLM**이 **smaller-scale LLM**보다 불확실성이 더 큼 (Set Size가 더 큼).
**HuggingFace open LLM leaderboard**는 불확실성을 고려하지 않아 평가가 왜곡될 수 있음.

의의 및 한계

본 연구는 LLM 평가에 **불확실성 측정**을 통합함으로써, 기존 정확도 중심 평가 방식의 한계를 보완하는 데 기여한다. 특히, **Conformal Prediction**은 모델에 무관하고 통계적으로 엄격한 불확실성 추정을 가능하게 하므로, 다양한 LLM 평가에 활용 가능하다. 그러나, **자유형 텍스트 생성** 태스크에서는 불확실성 측정이 어려워, 모든 태스크를 MCQA 형식으로 변환한 점이 한계이다. 또한, **closed-source 모델**에 대한 평가도 제한적으로 수행되었으며, 보다 다양한 데이터셋과 모델을 포함하는 추가 연구가 필요하다.

실용적 활용

본 연구는 **LLM의 신뢰도 평가**, **의료·금융 등 고위험 분야에서의 모델 선택**, **교육용 질문 생성 시스템** 등에 적용 가능하다. 특히, **Instruction-finetuning이 불확실성을 증가시킨다는 점**은 모델 최적화 시 고려해야 할 중요한 요소로 활용될 수 있다.