Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text

Detecting text generated by modern large language models is thought to be hard, as both LLMs and humans can exhibit a wide range of complex behaviors. However, we find that a score based on contrasting two closely related language models is highly accurate at separating human-generated and machine-generated text. Based on this mechanism, we propose a novel LLM detector that only requires simple calculations using a pair of pre-trained LLMs. The method, called Binoculars, achieves state-of-the-art accuracy without any training data. It is capable of spotting machine text from a range of modern LLMs without any model-specific modifications. We comprehensively evaluate Binoculars on a number of text sources and in varied situations. Over a wide range of document types, Binoculars detects over 90% of generated samples from ChatGPT (and other LLMs) at a false positive rate of 0.01%, despite not being trained on any ChatGPT data.

한 줄 요약

Binoculars는 두 개의 사전 학습된 LLM을 사용하여 제로샷 방식으로 90% 이상의 정확도로 기계 생성 텍스트를 탐지하는 새로운 방법이다.

핵심 기여도

Binoculars는 제로샷 환경에서 기계 생성 텍스트를 탐지하며, 학습 데이터가 필요하지 않다.
ChatGPT를 포함한 다양한 LLM에서 90% 이상의 탐지율을 기록하며, 0.01%의 오류율을 보인다.
Cross-perplexity라는 새로운 지표를 제안하여, 기존 탐지 방법을 개선한다.
모델별 수정 없이 여러 LLM을 탐지할 수 있어 플랫폼 모니터링에 유용하다.

핵심 아이디어

기존 연구는 LLM 생성 텍스트를 탐지하기 위해 특정 모델의 학습 데이터를 필요로 했으나, Binoculars는 두 개의 사전 학습된 LLM을 사용하여 제로샷 방식으로 탐지를 수행한다. 핵심 아이디어는 "observer"와 "performer"라는 두 LLM을 통해 텍스트의 log perplexity와 cross-perplexity를 계산하는 것이다. 이는 기계 생성 텍스트가 특정 모델에 의해 예측 가능한 반면, 인간 생성 텍스트는 더 예측 불가능하다는 통찰에 기반한다. Binoculars는 이 차이를 기반으로 기계 생성 여부를 판단하며, 별도의 학습 없이도 높은 성능을 보인다.

기술적 접근법

Binoculars는 두 개의 사전 학습된 LLM (observer와 performer)을 사용한다.
텍스트의 log perplexity는 observer 모델로 계산된다.
cross-perplexity는 performer 모델의 토큰 예측을 observer 모델이 평가하는 방식으로 계산된다.
두 지표를 비교하여 기계 생성 여부를 판단한다.
모델은 학습 없이, 즉 제로샷 방식으로 작동하며, 모델별 수정 없이 여러 LLM을 탐지한다.
사용된 모델은 구체적으로 명시되지 않지만, 공개된 사전 학습 모델을 기반으로 한다.

주요 결과

Binoculars는 ChatGPT를 포함한 다양한 LLM에서 90% 이상의 탐지율을 보인다.
오류율은 0.01%로 매우 낮다.
ChatGPT 데이터를 학습하지 않았음에도 높은 성능을 유지한다.
기존 오픈소스 탐지 방법보다 우수하며, 상용 API와 경쟁할 수 있는 수준이다.

의의 및 한계

Binoculars는 제로샷 방식으로 LLM 생성 텍스트를 탐지하는 데 성공하여, 기존 탐지 방법의 한계를 극복한다. 특히, 여러 LLM을 동일한 탐지기로 처리할 수 있어 플랫폼 모니터링 및 사회적 미디어 관리에 실용적이다. 그러나 GPU 메모리 제약으로 30B 이상의 대형 모델은 평가하지 못했으며, 의도적으로 탐지 회피를 시도한 경우를 고려하지 않았다는 한계가 있다. 또한, 소스 코드와 같은 비대화형 텍스트는 연구 범위에서 제외되었다.

실용적 활용

Binoculars는 사회적 미디어 플랫폼에서 가짜 리뷰, 봇 활동, 정보 조작을 탐지하는 데 활용할 수 있다. 또한, 학술적 위조 탐지 및 온라인 콘텐츠 모니터링 시스템에도 적용 가능하다. 특히, 다양한 LLM을 탐지할 수 있어 모델별 탐지기를 개별적으로 구축할 필요가 없어 비용 효율적이다.