Knowledge Conflicts for LLMs: A Survey

This survey provides an in-depth analysis of knowledge conflicts for large language models (LLMs), highlighting the complex challenges they encounter when blending contextual and parametric knowledge. Our focus is on three categories of knowledge conflicts: context-memory, inter-context, and intra-memory conflict. These conflicts can significantly impact the trustworthiness and performance of LLMs, especially in real-world applications where noise and misinformation are common. By categorizing these conflicts, exploring the causes, examining the behaviors of LLMs under such conflicts, and reviewing available solutions, this survey aims to shed light on strategies for improving the robustness of LLMs, thereby serving as a valuable resource for advancing research in this evolving area.

한 줄 요약

이 논문은 LLM에서 발생하는 지식 충돌(Knowledge Conflicts)을 체계적으로 분류하고, 원인, 행동, 해결 전략을 조사한 서베이 논문이다.

핵심 기여도

지식 충돌을 **context-memory**, **inter-context**, **intra-memory**의 세 가지 유형으로 체계적으로 분류.
각 충돌 유형에 대한 **원인 분석**, **모델 행동 분석**, **해결 전략**을 체계적으로 정리.
**pre-hoc** 및 **post-hoc** 전략을 기준으로 해결 방법을 분류.
**NQ-Open**, **TriviaQA**, **PopQA**, **StrategyQA** 등 다양한 데이터셋에서의 실험 결과를 종합.

핵심 아이디어

LLM은 학습된 **parametric knowledge**와 외부에서 입력받는 **contextual knowledge**를 결합하여 추론을 수행하지만, 이 둘 간의 충돌이 발생할 수 있다. 이는 **context-memory conflict**로, 특히 외부 정보가 노이즈나 오보일 경우 문제가 된다. 또한, 여러 외부 정보 간의 충돌인 **inter-context conflict**와, 모델 내부 지식 간의 불일치인 **intra-memory conflict**도 중요한 문제로 제기된다. 이 논문은 이러한 충돌을 **Freudian psychoanalysis**에 비유하며, 충돌의 **원인**, **행동**, **해결 전략**을 체계적으로 분석함으로써 LLM의 신뢰성과 안정성을 향상시키는 데 기여한다.

기술적 접근법

**context-memory conflict**: 사용자 질문, 대화 히스토리, 검색 문서 등이 결합된 **contextual knowledge**가 모델 내부의 **parametric knowledge**와 충돌.
**inter-context conflict**: 여러 외부 문서 간의 불일치.
**intra-memory conflict**: 모델 내부 지식 간의 불일치, 주로 **pre-training 데이터셋의 불일치**에서 유발.
충돌 생성 방법: **entity-level substitution**, **LLM 기반 생성**, **인간 주석 (hum)**.
해결 전략: **pre-hoc** (충돌 발생 전 조정) 및 **post-hoc** (충돌 발생 후 조정) 전략으로 분류.
실험 데이터셋: **NQ-Open**, **TriviaQA**, **PopQA**, **StrategyQA** 등.

주요 결과

**NQ-Open** 및 **TriviaQA** 실험에서, 모델은 **contextual knowledge**가 **parametric knowledge**와 충돌할 경우, **parametric knowledge**를 우선시하는 경향 보임.
**PopQA** 및 **StrategyQA** 실험에서, **LLMs**는 **인기 있는 엔티티**와 **다양한 문서에 의해 뒷받침된 답변**을 선호함.
**GPT-4**, **PaLM-2**, **Llama 2**의 **모순 문서 탐지 정확도**는 평균적으로 낮음.
**BERT**, **RoBERTa**, **ERNIE**는 중국어 대화에서 모순 탐지를 정확히 수행하는 데 어려움.

의의 및 한계

이 논문은 LLM에서 발생하는 지식 충돌을 체계적으로 분류하고, 다양한 실험과 분석을 통해 해결 전략을 제시함으로써, LLM의 **신뢰성**, **정확성**, **안정성** 향상에 기여한다. 특히, **context-memory**, **inter-context**, **intra-memory** 충돌을 명확히 구분하고, **pre-hoc** 및 **post-hoc** 전략을 제시함으로써, 연구자들이 충돌 문제를 구조적으로 접근할 수 있도록 돕는다. 그러나, **구체적인 수치적 평가**는 제시되지 않았으며, **모델 종류별 충돌 반응 차이**에 대한 심층 분석은 부족한 것으로 보인다.

실용적 활용

이 연구는 **대화형 시스템**, **질의응답 시스템**, **팩트체크 도구** 등에서 LLM의 신뢰도를 향상시키는 데 활용될 수 있다. 특히, **검색 기반 QA 시스템**에서 외부 정보와 내부 지식 간의 충돌을 감지하고 해결하는 데 중요한 참고 자료가 될 수 있다.