Debating with More Persuasive LLMs Leads to More Truthful Answers

Common methods for aligning large language models (LLMs) with desired behaviour heavily rely on human-labelled data. However, as models grow increasingly sophisticated, they will surpass human expertise, and the role of human evaluation will evolve into non-experts overseeing experts. In anticipation of this, we ask: can weaker models assess the correctness of stronger models? We investigate this question in an analogous setting, where stronger models (experts) possess the necessary information to answer questions and weaker models (non-experts) lack this information. The method we evaluate is debate, where two LLM experts each argue for a different answer, and a non-expert selects the answer. We find that debate consistently helps both non-expert models and humans answer questions, achieving 76% and 88% accuracy respectively (naive baselines obtain 48% and 60%). Furthermore, optimising expert debaters for persuasiveness in an unsupervised manner improves non-expert ability to identify the truth in debates. Our results provide encouraging empirical evidence for the viability of aligning models with debate in the absence of ground truth.

한 줄 요약

더 설득력 있는 LLM이 토론을 통해 비전문가가 더 정확한 답을 선택하도록 돕는다.

핵심 기여도

토론(debate)을 통해 비전문가 모델과 인간이 질문에 대한 정답을 76%와 88%의 정확도로 선택함 (기본 기준 대비 +28% 및 +28%).
설득력(persuasiveness)을 무관한 라벨 없이 최적화함으로써, 비전문가의 진실 식별 능력을 향상시킴.
GPT-4-Turbo 기반 토론 참가자에서 Elo 점수가 높을수록 판단 정확도가 높음 (강한 참가자일수록 정확도 75.6% → 92.5%).
토론은 상호작용이 없어도 효과가 유지되며, 인간 판단자 역시 LLM보다 높은 정확도를 보임.

핵심 아이디어

기존의 LLM 정렬 방법은 인간 라벨에 의존하지만, 모델이 인간 전문가를 초월할 경우 이 접근법은 한계가 있다. 이를 해결하기 위해, 연구자는 **비전문가가 전문가 모델의 정답 여부를 판단할 수 있는지**를 조사한다. 이에 **두 전문가 모델이 서로 다른 답을 주장하는 토론(debate)** 방식을 제안한다. 비전문가 판단자는 토론을 바탕으로 정답을 선택한다. 핵심 통찰은, **정답을 주장하는 측이 더 설득력 있게 말할 수 있으므로, 비전문가가 이를 통해 진실을 식별할 수 있다는 점**이다. 이는 QuALITY 데이터셋에서 토론 참가자들이 **인용 도구(quote tool)**를 사용해 외부 검증된 인용문을 제시함으로써 구현된다.

기술적 접근법

**Debate 프로토콜**: 두 전문가 모델이 서로 다른 답을 주장하고, 비전문가 판단자가 토론을 바탕으로 정답을 선택.
**Consultancy 프로토콜**: 단일 전문가 모델이 특정 답을 주장.
**Persuasiveness 최적화**: best-of-N, critique-and-refinement 방식으로 모델의 설득력 향상.
**Elo 점수**: 토론에서의 승률을 기반으로 모델의 설득력 평가.
**GPT-4-Turbo, Claude 2.1, GPT-3.5-Turbo** 등 다양한 LLM 사용.
**QuALITY 데이터셋**을 기반으로 토론 및 판단 실험 수행.
**인용 도구(quote tool)**를 통해 토론 참가자가 외부 인용문을 제시.

주요 결과

**LLM 판단자**: 토론 시 정확도 76% (기본 기준 48% 대비 +28%), 컨설팅 시 54% (기본 대비 +6%).
**인간 판단자**: 토론 시 정확도 88% (기본 기준 60% 대비 +28%), 컨설팅 시 78% (기본 대비 +18%).
**Elo 점수와 판단 정확도의 상관관계**: Elo 점수가 높을수록 판단 정확도가 높음 (75.6% → 92.5%).
**Best-of-N 방식이 critique-and-refinement 방식보다 설득력이 높음**.
**인간 판단자**: 95% 신뢰도 기준에서 94%의 정확도 달성.

의의 및 한계

**의의**: 토론은 라벨 없는 환경에서도 모델 정렬이 가능함을 실증적으로 보여준다. 비전문가 판단자(인간 및 LLM)가 전문가 모델의 정답 여부를 식별할 수 있다는 점에서, **스케일러블한 모델 정렬 기법**으로 활용 가능하다.
**한계**: 토론 참가자의 인용 도구 사용이 제한적일 경우, 판단 정확도가 저하될 수 있음. 또한, **LLM 참가자가 판단 정확도 향상의 병목**이 될 수 있음. 연구는 QuALITY 데이터셋에만 적용되었으며, 다른 도메인에서의 일반화 가능성은 추가 연구 필요.

실용적 활용

**AI 모델 정렬**: 인간 또는 LLM 비전문가가 모델의 정답 여부를 판단하는 시스템 구축에 활용 가능.
**대규모 토론 기반 QA 시스템**: 복수 전문가 모델이 토론을 통해 정답을 도출하는 방식으로 QA 시스템 개선.
**AI 감시 및 평가**: 라벨 없는 환경에서 모델의 신뢰도를 토론을 통해 평가하는 감시 프레임워크 개발에 활용 가능.