When Benchmarks are Targets: Revealing the Sensitivity of Large Language Model Leaderboards

한 줄 요약

LLM 리더보드는 MMLU와 같은 MCQ 벤치마크의 미세한 변화에 따라 최대 8위까지 순위가 변동된다.

핵심 기여도

• MMLU 벤치마크에서 선택지 순서 변경이나 답변 선택 방법 변경 등 미세한 변화가 LLM 순위를 최대 8위까지 바꾼다.
• 모든 테스트된 LLM이 MCQ에서 다양한 형태의 편향에 취약하다는 것을 밝힘.
• 특정 LLM 가족이 형식에 과도하게 의존하여 벤치마크 누수 가능성을 제시.
• 답변 선택 점수 방법에 대한 LLM 편향을 발견하고, 하이브리드 점수 방법의 장점을 제안.

핵심 아이디어

기존 리더보드는 LLM 성능을 간단한 MCQ 점수로 평가하지만, 이는 실제 성능을 정확히 반영하지 못한다. 연구팀은 MMLU와 같은 MCQ 벤치마크에 미세한 변화(예: 선택지 순서 변경, 점수 방법 변경)를 가했을 때 LLM 순위가 크게 변하는 현상을 관찰했다. 이는 LLM이 특정 형식이나 선택지 위치에 과도하게 의존하고 있음을 시사한다. 연구는 Kendall’s τ 거리와 RStd(정답 선택 위치 편향)를 사용해 이러한 불안정성을 정량적으로 분석하고, 하이브리드 점수 방법을 제안함으로써 보다 안정적인 평가 방식을 제시한다.

기술적 접근법

• **데이터셋**: MMLU(14,042 문제), ARC-C(7,787 문제) 사용.
• **평가 방법**: LM Evaluation Harness 라이브러리 사용, 각 선택지(A, B, C, D)의 로그-likelihood를 기준으로 최고 확률 선택.
• **변형 실험**: 선택지 순서 변경, 점수 방법 변경, in-context 지식 조작 등.
• **분석 지표**: ΔAcc(정확도 변화), ΔRStd(정답 위치 편향 변화), Kendall’s τ 거리(순위 변화 측정).
• **모델**: 11개 LLM, 22개 이상의 설정에서 실험 수행.

주요 결과

• MMLU에서 선택지 순서 변경 등 미세한 변화로 LLM 순위가 최대 8위까지 변동됨.
• 모든 테스트된 LLM이 MCQ에서 편향에 취약함.
• 하이브리드 점수 방법은 단일 점수 방법 대비 순위 불안정성을 줄임.
• 일부 수정(예: 선택지 의존성 제거)은 순위 변화를 줄이는 데 효과적임.
• Kendall’s τ 거리로 측정 시, 일부 실험 설정에서 순위가 완전히 반전됨(kτ=0).

의의 및 한계

이 연구는 기존 리더보드가 LLM 평가에 적절하지 않다는 점을 밝혀내며, MCQ 기반 평가의 한계를 강조한다. 특히, LLM이 특정 형식이나 선택지 위치에 과도하게 의존하는 경향을 밝힘으로써, 보다 안정적이고 종합적인 평가 체계 개발의 필요성을 제시한다. 그러나 본 연구는 MCQ 중심의 벤치마크만 다루었으며, 생성형 작업이나 대화형 평가 등 다른 평가 방식에 대한 분석은 포함되지 않았다.

실용적 활용

이 연구는 LLM 선택 및 훈련 전략 수립 시 리더보드에 대한 신중한 접근을 요구한다. 특히, 선택지 순서나 평가 방법에 따라 결과가 크게 달라질 수 있으므로, 산업 현장에서 LLM을 선택하거나 모델 성능을 평가할 때는 단일 벤치마크에 지나치게 의존하지 않아야 한다. 하이브리드 점수 방법을 도입함으로써 보다 안정적인 평가가 가능하다.