MiniCheck: Efficient Fact-Checking of LLMs on Grounding Documents

Recognizing if LLM output can be grounded in evidence is central to many tasks in NLP: retrieval-augmented generation, summarization, document-grounded dialogue, and more. Current approaches to this kind of fact-checking are based on verifying each piece of a model generation against potential evidence using an LLM. However, this process can be very computationally expensive, requiring many calls to a model to check a single response. In this work, we show how to build small fact-checking models that have GPT-4-level performance but for 400x lower cost. We do this by constructing synthetic training data with GPT-4, which involves creating realistic yet challenging instances of factual errors via a structured generation procedure. Training on this data teaches models to check each fact in the claim and recognize synthesis of information across sentences. For evaluation, we unify datasets from recent work on fact-checking and grounding LLM generations into a new benchmark, LLM-AggreFact. Our best system MiniCheck-FT5 (770M parameters) outperforms all systems of comparable size and reaches GPT-4 accuracy. We release LLM-AggreFact, code for data synthesis, and models.

한 줄 요약

MiniCheck는 GPT-4 수준의 정확도를 400배 저비용으로 달성하는 소형 사실 검증 모델이다.

핵심 기여도

GPT-4 수준의 정확도를 400배 저비용으로 달성한 MiniCheck-FT5 (770M 파라미터) 제안.
새로운 합성 데이터 생성 방식으로 사실 검증 모델을 학습.
LLM-AggreFact라는 새로운 벤치마크를 제안, 10개 기존 데이터셋 통합.
문장 분해 없이도 높은 성능을 보이는 사실 검증 시스템 개발.

핵심 아이디어

기존의 사실 검증은 LLM 자체를 사용하여 생성된 문장을 하나씩 검증하는 방식이었으나, 이는 계산 비용이 매우 높다. 본 연구는 GPT-4를 활용해 합성 데이터를 생성함으로써, 소형 모델이 복잡한 사실 검증 능력을 습득하도록 유도하는 새로운 접근법을 제시한다. 합성 데이터 생성 과정에서 구조화된 절차를 통해 사실 오류를 포함한 실제적인 예시를 생성함으로써, 모델이 문장 내 여러 사실을 동시에 검증하는 능력을 키운다. 이는 기존의 데이터 라벨링 방식과는 달리, 직접적으로 강력한 LLM의 라벨을 활용하지 않으며, 대규모 학습 없이도 성능을 높일 수 있다는 점에서 혁신적이다.

기술적 접근법

합성 데이터 생성: GPT-4를 사용하여 구조화된 절차로 사실 오류를 포함한 데이터 생성.
모델: Flan-T5 기반으로 미세조정한 MiniCheck-FT5 (770M 파라미터).
학습 데이터: 합성 데이터와 표준적인 의미 추론 데이터를 결합.
평가: LLM-AggreFact 벤치마크 사용, 10개 기존 데이터셋 통합.
성능 지표: Balanced Accuracy (BAcc) 사용.

주요 결과

MiniCheck-FT5는 LLM-AggreFact에서 GPT-4 수준의 정확도를 달성.
기존 시스템 대비 4%~10% 절대값 개선.
문장 분해 없이도 높은 성능 유지.
LLM 기반 시스템 대비 400배 저비용, 빠른 추론 속도.

의의 및 한계

MiniCheck는 LLM 기반 시스템의 높은 비용 문제를 해결하며, 소형 모델로도 높은 정확도를 달성함으로써 사실 검증 분야의 새로운 가능성을 제시한다. 또한, 합성 데이터 생성 기법은 데이터 부족 문제를 완화하고, 모델의 일반화 능력을 향상시킨다. 그러나 합성 데이터만으로 모든 실제 상황을 포괄하기는 어렵고, 특정 도메인에서는 추가 학습이 필요할 수 있다. 또한, GPT-4와 같은 초대형 모델의 전체 범위를 커버하지 못할 가능성도 있다.

실용적 활용

본 연구는 문서 기반 대화, 요약, 검색 증강 생성 등 다양한 NLP 작업에서 사실 검증을 효율적으로 수행할 수 있는 기반을 제공한다. 특히, 비용 효율적인 시스템이 필요한 산업 현장이나, 대규모 LLM 사용이 어려운 연구 환경에서 유용하게 활용될 수 있다.