Evaluating Large Language Models in a Complex Hidden Role Game

Quantifying the deceptive potential of Large Language Models (LLMs) is critical for AI safety, yet difficult to achieve in uncontrolled environments. This work investigates the reasoning, persuasion, and deceptive capabilities of LLMs within the social deduction game Secret Hitler. I introduce an open-source framework and novel metrics to measure performance: Role Identification Accuracy, Deception Retention Rate, and Game State Impact Rate. By benchmarking models against rule-based algorithms and human games, I identify a gap between conversational ability and strategic depth. The study also analyzes the impact of reasoning-enhancement techniques on win rates and strategic reasoning. Neither Chain-of-Thought prompting nor internal memory bring improvements in performance, with up to 23.2% worse win rates for fascist roles. While rule-based agents align with expert human voting decisions 86.7% of the time, models like Llama 3.1 70B achieve only a 59.7% accuracy. Models playing as Fascists consistently yield negative impact scores and fail to sustain deception, resulting in roughly 40% shorter games compared to humans. These findings suggest that current architectures remain ineffective at complex, multi-turn manipulation. As capabilities advance, detecting when models begin to master these deceptive behaviors is crucial. The developed framework serves as a reproducible testbed for future alignment research.

📋 한 줄 요약

**[AI 안전 / 사회적 추론 게임]** Secret Hitler 게임으로 LLM의 추론·설득·기만 능력 평가 프레임워크와 신규 metric(역할 식별 정확도·기만 유지율·게임 상태 영향도) 제시, frontier 모델도 rule-based 86.7% 대비 Llama 3.1 70B 59.7%로 격차 노출.

🎯 핵심 기여도

LLM의 deceptive potential 정량화가 AI 안전에 critical하지만 통제 불능 환경에서 달성 어려움을 진단, 사회적 추론 게임 Secret Hitler를 통제 testbed로 채택.
오픈소스 프레임워크와 신규 metric 도입 — Role Identification Accuracy, Deception Retention Rate, Game State Impact Rate.
Rule-based 알고리즘·인간 게임과의 벤치마크로 conversational ability와 strategic depth 사이 격차 식별.
Reasoning-enhancement 기법(Chain-of-Thought·internal memory)의 win rate·전략적 추론 영향 분석 — 두 기법 모두 개선 없고 fascist 역할에서 win rate 최대 23.2% 악화.

💡 핵심 아이디어

LLM의 기만·설득·전략 능력 평가에는 multi-turn 사회적 추론 게임이 통제된 testbed로 적합하며, 단순 win rate가 아닌 역할 식별·기만 유지·게임 상태 영향을 분리 측정해야 conversational 능력과 strategic 깊이의 격차가 정량 노출된다.

🔬 기술적 접근법

**방법론**: Secret Hitler 기반 오픈소스 평가 프레임워크 + 3 신규 metric.
**핵심 기법**: (1) Secret Hitler를 통제된 사회적 추론 testbed로 사용, (2) Role Identification Accuracy(역할 식별), Deception Retention Rate(기만 유지), Game State Impact Rate(게임 상태 영향) 3 metric 정의, (3) Rule-based 알고리즘·인간 expert 게임과 벤치마킹, (4) Chain-of-Thought·internal memory 등 reasoning-enhancement 효과 분석, (5) 다양한 LLM family 비교.

📊 주요 결과

Rule-based agent가 expert 인간 투표 결정과 86.7% 일치, Llama 3.1 70B는 59.7%에 머무름.
CoT·internal memory 모두 win rate 개선 실패, fascist 역할에서 최대 23.2% 악화.
Fascist LLM이 일관되게 negative impact score 기록, 기만 유지 실패로 인간 게임 대비 약 40% 짧은 게임 종료.
현재 architecture가 복잡 multi-turn manipulation에 ineffective 함을 정량 입증.

💭 의의 및 한계

**의의**: LLM 기만 능력 평가의 reproducible testbed 제공, conversational vs strategic 격차의 정량 노출, 향후 alignment 연구에 대비한 monitoring 인프라. **한계**: 단일 게임(Secret Hitler) 중심으로 다른 사회적 deception 시나리오 일반화 검증 필요, 평가된 모델 수 제한, fascist 역할의 부진은 모델별·prompt별 변동 가능.

🚀 실용적 활용

LLM alignment·safety 연구의 deception 모니터링.
Multi-agent LLM 시스템의 전략적 추론 진단.
미래 모델의 기만 능력 emergence 조기 탐지.