Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration

Despite efforts to expand the knowledge of large language models (LLMs), knowledge gaps -- missing or outdated information in LLMs -- might always persist given the evolving nature of knowledge. In this work, we study approaches to identify LLM knowledge gaps and abstain from answering questions when knowledge gaps are present. We first adapt existing approaches to model calibration or adaptation through fine-tuning/prompting and analyze their ability to abstain from generating low-confidence outputs. Motivated by their failures in self-reflection and over-reliance on held-out sets, we propose two novel approaches that are based on model collaboration, i.e., LLMs probing other LLMs for knowledge gaps, either cooperatively or competitively. Extensive experiments with three LLMs on four QA tasks featuring diverse knowledge domains demonstrate that both cooperative and competitive approaches to unveiling LLM knowledge gaps achieve up to 19.3% improvements on abstain accuracy against the strongest baseline. Further analysis reveals that our proposed mechanisms could help identify failure cases in retrieval augmentation and pinpoint knowledge gaps in multi-hop reasoning.

한 줄 요약

다중 LLM 협력 기반 Cooperte 및 Compete 메커니즘을 통해 LLM 지식 공백을 최대 19.3% 개선된 정확도로 식별하고 답변을 회피한다.

핵심 기여도

기존 11개의 회피 메커니즘을 4가지 범주로 분류하고 실험적으로 평가.
Cooperte 및 Compete라는 두 가지 새로운 다중 LLM 협력 기반 회피 메커니즘 제안.
4개의 QA 태스크에서 3개의 LLM을 사용한 실험에서 최대 19.3%의 Abstain Accuracy 개선.
회피 메커니즘이 Retrieval Augmentation 실패 사례와 Multi-hop Reasoning의 지식 공백을 식별함을 밝힘.

핵심 아이디어

기존 LLM 회피 메커니즘은 단일 모델의 자기 반성(Self-Reflection)에 의존하며, 이는 홀루시네이션과 확증 편향으로 인해 신뢰도가 낮다. 본 연구는 이 문제를 해결하기 위해 다중 LLM 간 협력(Cooperation) 또는 경쟁(Competition)을 통해 지식 공백을 탐지하는 새로운 메커니즘을 제안한다. Cooperte는 다른 LLM의 피드백을 종합하여 회피 결정을 내리는 방식이고, Compete는 상충되는 지식을 가진 LLM과 대결하여 회피 여부를 판단한다. 이는 기존 방법들이 의존하는 held-out set 없이도 일반화 가능한 회피 결정을 가능하게 한다.

기술적 접근법

**기존 방법 분류**: Calibration-based (예: Temperature Scaling), Training-based (예: Hidden Layer Probing), Prompting-based, Self-Consistency-based.
**제안 방법**:
**Cooperte**: 다른 LLM의 피드백을 종합하여 회피 결정.
**Compete**: 상충되는 지식을 가진 LLM과 대결하여 회피 여부 판단.
**평가 지표**: Abstain Accuracy (A-Acc), Effective Reliability (ER), Abstain F1 (A-F1) 등.
**실험 환경**: 3개의 LLM, 4개의 QA 태스크 (다양한 지식 도메인 포함).

주요 결과

Cooperte와 Compete는 12개 설정 중 9개에서 기존 최고 기준(Baseline)을 초과.
Abstain Accuracy에서 최대 19.3% 개선.
Retrieval Augmentation 실패 사례와 Multi-hop Reasoning의 지식 공백을 식별함을 밝힘.
실험 대상: 4개 QA 태스크, 3개 LLM.

의의 및 한계

**의의**: LLM의 신뢰성 향상, 홀루시네이션 감소, Retrieval Augmentation 및 Multi-hop Reasoning 개선 가능.
**한계**: 제안된 메커니즘은 다중 LLM이 필요하므로 계산 비용이 증가할 수 있음.
**추가 분석**: Cooperte와 Compete는 단일 LLM 기반 회피 메커니즘의 한계를 극복하며, 실제 사용 시 신뢰도 높은 회피 결정을 가능하게 함.

실용적 활용

의료, 법률, 금융 등 정확성과 신뢰성이 중요한 분야에서 LLM의 답변 신뢰도를 높이는 데 활용 가능.
Retrieval-Augmented LLM과 Multi-hop Reasoning 시스템의 성능 개선에 기여할 수 있음.
Cooperte와 Compete는 복수의 LLM이 존재하는 클라우드 기반 서비스에 적합한 회피 전략.