Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?

When large language models are aligned via supervised fine-tuning, they may encounter new factual information that was not acquired through pre-training. It is often conjectured that this can teach the model the behavior of hallucinating factually incorrect responses, as the model is trained to generate facts that are not grounded in its pre-existing knowledge. In this work, we study the impact of such exposure to new knowledge on the capability of the fine-tuned model to utilize its pre-existing knowledge. To this end, we design a controlled setup, focused on closed-book QA, where we vary the proportion of the fine-tuning examples that introduce new knowledge. We demonstrate that large language models struggle to acquire new factual knowledge through fine-tuning, as fine-tuning examples that introduce new knowledge are learned significantly slower than those consistent with the model’s knowledge. However, we also find that as the examples with new knowledge are eventually learned, they linearly increase the model’s tendency to hallucinate. Taken together, our results highlight the risk in introducing new factual knowledge through fine-tuning, and support the view that large language models mostly acquire factual knowledge through pre-training, whereas fine-tuning teaches them to use it more efficiently.

한 줄 요약

LLM 미세조정 시 새로운 지식 도입은 학습 속도를 저하시키고, 환각 발생률을 증가시킨다.

핵심 기여도

새로운 지식을 포함한 미세조정 예시는 기존 지식과 일치하는 예시에 비해 2배 이상 느리게 학습됨.
새로운 지식을 학습할수록 모델은 기존 지식에 대한 환각 경향이 선형적으로 증가함.
`SliCK`이라는 새로운 지식 범주 분류법을 제안하여, 미세조정 예시의 지식 일치도를 정량적으로 평가함.
`early-stopping` 또는 `Unknown` 예시 필터링을 통해 환각 위험을 줄일 수 있음.

핵심 아이디어

대규모 언어 모델(LLM)은 미세조정(fine-tuning) 과정에서 새로운 사실 정보를 학습할 수 있지만, 이는 모델이 기존 지식에 기반하지 않은 응답을 생성하는 환각(hallucination)을 유발할 수 있다는 가설이 제기되어 왔다. 본 연구는 이 가설을 검증하기 위해, 미세조정 예시 중 새로운 지식을 포함한 비율을 조절한 제어 실험을 설계했다. 연구는 `SliCK`이라는 새로운 지식 범주 분류법을 통해, 각 예시가 모델의 기존 지식과 얼마나 일치하는지를 정량적으로 평가하고, 이를 바탕으로 학습 동적을 분석했다. 핵심 통찰은, 새로운 지식을 포함한 예시는 기존 지식과 일치하는 예시에 비해 훨씬 느리게 학습되며, 이는 모델이 기존 지식을 활용하는 능력을 저하시키고, 환각 경향을 증가시킨다는 점이다.

기술적 접근법

**데이터셋**: 제어 실험은 closed-book QA(질의응답)에 초점을 맞춤.
**SliCK**: 지식 범주 분류법으로, 예시를 `Unknown`, `HighlyKnown`, `MaybeKnown`, `WeaklyKnown` 네 가지로 분류.
**미세조정 설정**: `Unknown` 예시 비율을 조절하며, 학습 동적을 분석.
**훈련 동적 분석**: `Unknown` 예시는 `Known` 예시보다 훨씬 느리게 학습됨 (Figure 1 상단).
**과적합 완화**: `early-stopping` 또는 `Unknown` 예시 필터링을 통해 환각 위험 감소 가능.
**성능 평가**: `HighlyKnown` 예시만 사용할 경우 최적 성능이 나오지 않음. `MaybeKnown` 예시 포함이 중요함.

주요 결과

`Unknown` 예시는 `Known` 예시에 비해 2배 이상 느리게 학습됨.
`Unknown` 예시를 학습할수록 모델의 환각 경향이 선형적으로 증가함.
`early-stopping`은 환각 위험을 줄이며, `Unknown` 예시 필터링은 성능 저하 없이 과적합을 감소시킴.
`HighlyKnown` 예시만 사용하는 경우, `MaybeKnown` 예시 포함한 경우보다 성능이 낮음.

의의 및 한계

본 연구는 LLM이 미세조정을 통해 새로운 지식을 효과적으로 학습하기 어렵고, 이는 환각 위험을 증가시킨다는 점을 실증적으로 밝혀낸다. 이는 LLM의 지식은 주로 사전 학습(pre-training)을 통해 습득되며, 미세조정은 기존 지식 활용 능력을 향상시키는 데 더 유용하다는 관점을 지지한다. 그러나 본 연구는 `SliCK` 기반의 제어 실험을 통해 특정 환경에서의 결과를 도출했기 때문에, 다른 미세조정 방식(예: DPO)이나 대규모 실제 데이터셋에 대한 일반화 가능성은 한계가 있다. 또한, `Unknown` 예시가 항상 부정적인 영향을 미친다는 점도 추가 연구가 필요하다.

실용적 활용

본 연구는 LLM을 미세조정할 때 새로운 지식을 포함한 예시를 신중히 선택하거나, `early-stopping` 또는 예시 필터링을 통해 과적합과 환각을 방지할 수 있음을 시사한다. 이는 의료, 법률, 금융 등 정확성과 신뢰성이 중요한 분야에서의 LLM 활용에 실질적인 도움이 될 수 있다.