The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models

In the era of large language models (LLMs), hallucination (i.e., the tendency to generate factually incorrect content) poses great challenge to trustworthy and reliable deployment of LLMs in real-world applications. To tackle the LLM hallucination, three key questions should be well studied: how to detect hallucinations (detection), why do LLMs hallucinate (source), and what can be done to mitigate them (mitigation). To address these challenges, this work presents a systematic empirical study on LLM hallucination, focused on the the three aspects of hallucination detection, source and mitigation. Specially, we construct a new hallucination benchmark HaluEval 2.0, and designs a simple yet effective detection method for LLM hallucination. Furthermore, we zoom into the different training or utilization stages of LLMs and extensively analyze the potential factors that lead to the LLM hallucination. Finally, we implement and examine a series of widely used techniques to mitigate the hallucinations in LLMs. Our work has led to several important findings to understand the hallucination origin and mitigate the hallucinations in LLMs. Our code and data can be accessed at https://github.com/RUCAIBox/HaluEval-2.0.

한 줄 요약

LLM의 사실성 환각(Factuality Hallucination)을 탐지·원인 분석·완화 전략을 체계적으로 연구한 실증적 연구.

핵심 기여도

새로운 사실성 환각 평가 벤치마크 **HaluEval 2.0** (8,770개 질문 포함)를 구축.
GPT 기반의 간단한 **사실성 오류 탐지 프레임워크** 제안.
**4단계**(pre-training, SFT, RLHF, inference)에서 LLM 환각의 원인을 체계적으로 분석.
**5가지 완화 전략**(RLHF, retrieval augmentation, self-reflexion, advanced decoding, prompt improvement)을 평가.

핵심 아이디어

LLM이 생성하는 사실성 오류, 즉 환각은 신뢰성 있는 실제 세계 적용에 큰 장애가 되고 있다. 기존 연구는 주로 개별 단계나 문제에 집중했으나, 본 연구는 **탐지(detection), 원인(source), 완화(mitigation)**의 세 가지 핵심 질문을 체계적으로 다루는 것이 핵심이다. 특히, **HaluEval 2.0**이라는 새로운 벤치마크를 통해 다양한 도메인(의학, 금융, 과학 등)에서의 환각을 평가하고, GPT 기반의 **사실성 추출 + 판단** 방식의 탐지 프레임워크를 제안한다. 또한, **pre-training, SFT, RLHF, inference** 단계별로 환각의 발생 요인을 분석하고, **RLHF, retrieval augmentation** 등 기존 기법의 효과를 평가함으로써 실용적인 해결 방향을 제시한다.

기술적 접근법

**HaluEval 2.0**: 5개 도메인(의학, 금융, 과학, 교육, open domain)에 걸쳐 8,770개의 질문 포함.
**탐지 프레임워크**: LLM 응답에서 사실적 진술을 추출한 후, GPT 기반 모델로 환각 여부를 판단.
**분석 단계**:
**Pre-training**: 토큰 수 증가 vs 전문 데이터 추가 효과 비교.
**SFT**: 지시사항 복잡도, RLHF 적용 여부.
**Inference**: decoding 방법(예: greedy search, diversity-oriented decoding), 토큰 단위 생성 방식.
**Prompt Design**: 질문 재작성, in-context learning 적용 효과.
**평가 모델**: Alpaca, Vicuna, Llama 2-Chat, ChatGPT, Claude 등 11개 모델 포함.

주요 결과

**HaluEval 2.0에서 평가 결과**:
**Vicuna 13B**와 **Llama 2-Chat 13B**는 7B 버전 대비 환각률 감소.
**ChatGPT**와 **Claude 2**는 5개 도메인에서 극히 낮은 환각률(40~50%) 보여.
**Open domain**에서 **Llama 2-Chat**의 환각률은 약 80%에 달함.
**환각 탐지 능력**:
**ChatGPT**는 사실성 판단 정확도 58.53%로 낮음.
**Llama 2-Chat**과 **ChatGLM**은 일상 대화 환경에서도 환각 탐지 능력 부족.
**RLHF 효과**: 도메인에 따라 효과가 달라짐. 예: 의료 분야에서는 효과적, open domain에서는 제한적.

의의 및 한계

본 연구는 LLM 환각의 **원인, 탐지, 완화**를 체계적으로 다룬 첫 실증적 연구로, **HaluEval 2.0**과 **GPT 기반 탐지 프레임워크**는 향후 연구에 재사용 가능하다는 점에서 학술적 가치가 높다. 또한, **pre-training, SFT, RLHF, inference** 단계별 분석은 LLM의 환각 메커니즘을 이해하는 데 기초가 된다. 그러나, **pre-training 및 SFT 단계의 분석은 훈련 세부 정보 부족으로 제한적**이며, **새로운 완화 전략은 제안되지 않았다**는 점이 한계로 지적된다. 또한, **GPT 기반 탐지 방법은 일부 오류 발생 가능성**이 있다.

실용적 활용

의료 진단, 금융 자문, 교육 콘텐츠 생성 등 **신뢰성과 정확성이 필수적인 분야**에서 LLM의 환각률을 줄이는 데 활용 가능하다. 특히, **도메인별 전문 데이터를 pre-training에 포함**하거나, **RLHF와 retrieval augmentation**을 결합하는 방식이 실용적 개선 방향으로 제시된다.