HalluLens: LLM Hallucination Benchmark

Large language models (LLMs) often generate responses that deviate from user input or training data, a phenomenon known as"hallucination."These hallucinations undermine user trust and hinder the adoption of generative AI systems. Addressing hallucinations is essential for the advancement of LLMs. This paper introduces a comprehensive hallucination benchmark, incorporating both new extrinsic and existing intrinsic evaluation tasks, built upon clear taxonomy of hallucination. A major challenge in benchmarking hallucinations is the lack of a unified framework due to inconsistent definitions and categorizations. We disentangle LLM hallucination from"factuality,"proposing a clear taxonomy that distinguishes between extrinsic and intrinsic hallucinations, to promote consistency and facilitate research. Extrinsic hallucinations, where the generated content is not consistent with the training data, are increasingly important as LLMs evolve. Our benchmark includes dynamic test set generation to mitigate data leakage and ensure robustness against such leakage. We also analyze existing benchmarks, highlighting their limitations and saturation. The work aims to: (1) establish a clear taxonomy of hallucinations, (2) introduce new extrinsic hallucination tasks, with data that can be dynamically regenerated to prevent saturation by leakage, (3) provide a comprehensive analysis of existing benchmarks, distinguishing them from factuality evaluations.

한 줄 요약

HalluLens는 LLM의 환영현상(할루시네이션)을 체계적으로 평가하기 위한 벤치마크를 제안하며, 특히 외부적 할루시네이션 평가와 동적 테스트셋 생성을 강조한다.

핵심 기여도

LLM 할루시네이션을 **내재적**(intrinsic)과 **외재적**(extrinsic)으로 구분하는 명확한 **분류체계** 제시.
**동적 테스트셋 생성**(dynamic test set generation)을 도입하여 데이터 누수(data leakage)를 방지.
기존 벤치마크(TruthfulQA, SimpleQA 등)의 **한계와 포화 상태**를 분석.
**새로운 외재적 할루시네이션 평가 태스크**를 제안.

핵심 아이디어

LLM이 생성하는 응답이 사용자 입력이나 학습 데이터와 일치하지 않는 현상인 할루시네이션은 신뢰도 저하의 주요 원인이다. 기존 연구는 내재적 할루시네이션(입력과 모순되는 응답)에 집중했으나, 외재적 할루시네이션(학습 데이터와 모순되지만 입력과는 무관한 응답)은 평가가 부족했다. HalluLens는 이를 명확히 구분하고, 외재적 할루시네이션 평가를 위한 새로운 태스크를 제시한다. 또한, LLM이 빠르게 진화함에 따라 정적 테스트셋이 데이터 누수에 취약하다는 문제를 해결하기 위해 **동적 테스트셋 생성**을 도입했다. 이는 기존 벤치마크의 한계를 극복하고, 지속적인 평가를 가능하게 한다.

기술적 접근법

**할루시네이션 분류체계**: 내재적(intrinsic)과 외재적(extrinsic)으로 구분.
**동적 테스트셋 생성**: 테스트셋을 매번 재생성하여 데이터 누수를 방지.
**평가 태스크**: MixedEntities 등 새로운 외재적 할루시네이션 태스크 포함.
**기존 벤치마크 분석**: TruthfulQA, SimpleQA, HaluEval2.0 등을 평가하여 **포화 상태와 오답 포함 문제**를 지적.
**평가 지표**: False refusal rate, hallucination rate, recall@32, precision, F1@32 등을 사용.

주요 결과

**GPT-4o 모델**은 false refusal rate 0.13, precision 56.94, F1@32 61.98로 **가장 높은 정확도**를 보임.
**Llama-3.1-405B-Instruct**는 hallucination rate 26.84%로 낮은 오류율을 기록했으나, false refusal rate 56.77%로 높은 거부율을 보임.
**Claude-3-Sonnet**은 hallucination rate 56.97%로 높은 오류율을 보였으나, recall@32 65.03%로 높은 정보 제공율을 나타냄.
**MixedEntities 태스크**에서 Llama-3.1-405B-Instruct는 false acceptance rate 11.48%로 **가장 낮은 오류율**을 기록.

의의 및 한계

HalluLens는 LLM의 할루시네이션 평가를 체계화하고, 특히 외재적 할루시네이션을 정확히 평가할 수 있는 새로운 태스크와 동적 테스트셋 생성 기법을 제시함으로써, **신뢰성 있는 평가 기반을 마련**했다. 또한, 기존 벤치마크의 포화 상태와 오답 포함 문제를 분석하여 **향후 연구 방향을 제시**한다. 그러나, 동적 테스트셋 생성은 **데이터 생성 알고리즘의 투명성**과 **평가 일관성**을 보장하는 것이 필요하며, 일부 모델(예: Gemma-2-27b-it)은 **모델 크기와 성능 간의 관계가 명확하지 않아** 추가 연구가 필요하다.

실용적 활용

HalluLens는 LLM의 신뢰도 향상과 실용적 활용 확대를 위한 **평가 기준을 제공**한다. 특히, 의료, 법률, 금융 등 **정확성과 신뢰성이 중요한 분야**에서 할루시네이션을 체계적으로 평가하여 모델 선택과 개선에 활용할 수 있다. 또한, **모델 개발자와 평가자**가 할루시네이션의 유형과 원인을 명확히 이해하고, 이를 기반으로 **더 안정적인 AI 시스템을 설계**하는 데 기여할 수 있다.