Language Models with Conformal Factuality Guarantees

Guaranteeing the correctness and factuality of language model (LM) outputs is a major open problem. In this work, we propose conformal factuality, a framework that can ensure high probability correctness guarantees for LMs by connecting language modeling and conformal prediction. We observe that the correctness of an LM output is equivalent to an uncertainty quantification problem, where the uncertainty sets are defined as the entailment set of an LM's output. Using this connection, we show that conformal prediction in language models corresponds to a back-off algorithm that provides high probability correctness guarantees by progressively making LM outputs less specific (and expanding the associated uncertainty sets). This approach applies to any black-box LM and requires very few human-annotated samples. Evaluations of our approach on closed book QA (FActScore, NaturalQuestions) and reasoning tasks (MATH) show that our approach can provide 80-90% correctness guarantees while retaining the majority of the LM's original output.

한 줄 요약

언어 모델의 출력에 대한 80-90% 확률의 정확성 보장을 제공하는 Conformal Factuality 프레임워크를 제안한다.

핵심 기여도

Conformal Prediction과 언어 모델을 연결한 새로운 프레임워크인 Conformal Factuality를 제안.
GPT-4 기반의 출력에서 FactScore(30% → 80%), NaturalQuestions(78% → 93%), MATH(75% → 95%)에서 정확성 향상.
LM 출력을 서브클레임 단위로 분해하고, 불확실성 점수를 기반으로 점진적으로 제거하는 알고리즘을 제시.
학습된 모델에 대한 가정 없이 모든 블랙박스 LM에 적용 가능하며, 인위 라벨 샘플이 매우 적게 필요.

핵심 아이디어

Conformal Factuality는 언어 모델의 출력이 참일 확률을 보장하기 위해, 출력에 대한 불확실성 집합을 추론 기반(Entailment)으로 정의하고, 이를 Conformal Prediction과 연결하는 새로운 접근법이다. 기존의 Conformal Prediction은 전체 출력 공간을 점수화해야 하기 때문에 언어 모델에 적용하기 어려웠지만, 이 연구는 출력에 포함된 서브클레임(sub-claim) 단위로 불확실성을 평가하고 점진적으로 제거함으로써 계산 가능하게 만든다.

예를 들어, GPT-4가 생성한 답변은 여러 서브클레임으로 분해되며, 각 서브클레임에 대해 불확실성 점수가 계산된다. 이 점수를 기반으로 가장 불확실한 서브클레임부터 제거하면서, 전체 답변의 정확성 확률이 사용자 지정 수준(예: 90%) 이상이 되는 최소한의 수정만 수행한다. 이는 정확성 보장과 동시에 원래 답변의 대부분을 유지할 수 있다는 장점을 가진다.

기술적 접근법

**Entailment 기반 불확실성 집합 정의**: 출력 y에 대해, y를 포함하는 모든 참 진술 집합을 불확실성 집합으로 정의 (y* ⇒ y).
**Back-off 알고리즘**: 서브클레임 단위로 LM 출력을 점진적으로 제거하며, Conformal Prediction 기법을 적용하여 정확성 확률을 보장.
**Score 함수**: 각 서브클레임에 대해 불확실성 점수를 계산하고, 이 점수를 기반으로 제거 순서를 결정.
**Split Conformal Prediction**: 교정 데이터를 사용하여 정확성 확률을 보장하는 최소한의 수정 수준을 결정.
**GPT-4 기반 구현**: GPT-4의 출력을 반복적으로 수정하며, 가장 불확실한 서브클레임을 제거하는 프롬프트 기반 방식을 사용.

주요 결과

**FactScore 데이터셋**: 30% → 80% (베이스라인 대비 +50%)
**NaturalQuestions 데이터셋**: 78% → 93% (베이스라인 대비 +15%)
**MATH 데이터셋**: 75% → 95% (베이스라인 대비 +20%)
**정확성 보장 수준**: 80-90% 범위에서 유지하면서, 원래 출력의 대부분을 보존.
**서브클레임 제거율**: 대부분의 경우 전체 서브클레임 중 10-20%만 제거됨.

의의 및 한계

이 연구는 블랙박스 언어 모델의 출력에 대해 정확성 확률을 보장하는 첫 번째 실용적 알고리즘을 제시한 점에서 학술적·실용적 의의가 크다. 특히, GPT-4와 같은 대규모 모델의 출력을 신뢰할 수 있는 방식으로 수정할 수 있어, 의료, 법률, 로봇 등 정확성이 필수적인 분야에 적용 가능하다.

그러나, 이 방법은 특정 분포 P에 기반한 보장만 제공하며, 교정 데이터와 테스트 데이터의 독립성에 의존한다는 한계가 있다. 또한, 불확실성 점수를 계산하는 과정에서 추가적인 모델 호출이 필요하므로, 실시간 적용에는 제약이 있을 수 있다.

실용적 활용

의료 진단 시스템, 법률 자문 도구, 로봇 제어 시스템 등 정확성과 신뢰성이 필수적인 분야에서 적용 가능하다. 특히, 사용자가 특정 확률(예: 90%) 이상의 정확성을 요구하는 상황에서, 이 알고리즘을 통해 LM의 출력을 신뢰할 수 있는 수준으로 수정할 수 있다.