How Johnny Can Persuade LLMs to Jailbreak Them: Rethinking Persuasion to Challenge AI Safety by Humanizing LLMs

Most traditional AI safety research has approached AI models as machines and centered on algorithm-focused attacks developed by security experts. As large language models (LLMs) become increasingly common and competent, non-expert users can also impose risks during daily interactions. This paper introduces a new perspective to jailbreak LLMs as human-like communicators, to explore this overlooked intersection between everyday language interaction and AI safety. Specifically, we study how to persuade LLMs to jailbreak them. First, we propose a persuasion taxonomy derived from decades of social science research. Then, we apply the taxonomy to automatically generate interpretable persuasive adversarial prompts (PAP) to jailbreak LLMs. Results show that persuasion significantly increases the jailbreak performance across all risk categories: PAP consistently achieves an attack success rate of over $92\%$ on Llama 2-7b Chat, GPT-3.5, and GPT-4 in $10$ trials, surpassing recent algorithm-focused attacks. On the defense side, we explore various mechanisms against PAP and, found a significant gap in existing defenses, and advocate for more fundamental mitigation for highly interactive LLMs

한 줄 요약

일상적 설득 기법을 활용한 LLM 해킹(Persuasive Jailbreak)이 기존 알고리즘 기반 공격을 크게 초과하며, AI 안전성 연구의 새로운 관점을 제시한다.

핵심 기여도

설득 기법 분류 체계(Persuasion Taxonomy)를 제안하여 사회과학 연구와 AI 안전성 연구를 연결.
설득 기반 적대적 프롬프트(Persuasive Adversarial Prompt, PAP)를 자동 생성하는 Persuasive Paraphraser 모듈 개발.
Llama 2-7b Chat, GPT-3.5, GPT-4에서 10회 시도 중 92% 이상의 공격 성공률을 기록, 기존 알고리즘 기반 공격을 초과.
적응형 방어 메커니즘(Adapt Sys., Tuned Smry.)을 제안하고, Tuned Smry.가 GPT-4에서 PAP 공격 성공률을 92%에서 2%로 낮추는 효과를 보임.

핵심 아이디어

기존 AI 안전성 연구는 LLM을 단순히 알고리즘 기반 시스템으로 접근했으나, 본 연구는 LLM을 인간처럼 소통하는 존재로 간주하고, 일상적 언어 상호작용을 통해 설득하는 방식으로 해킹을 시도한다. 이는 인간의 자연스러운 설득 기법(감정 호소, 권위적 주장 등)을 기반으로 LLM의 안전성 장벽을 무너뜨리는 새로운 공격 벡터를 제시한다. 연구는 사회과학에서 축적된 설득 이론을 기반으로 설득 기법 분류 체계를 구축하고, 이를 통해 해독 가능한(Parsable) PAP를 생성한다. 이는 기존의 가상화(Virtualization)나 역할 연기(Role-playing) 기반 공격과 달리, 인간의 자연스러운 언어 패턴을 반영한 공격 방식을 구현한다.

기술적 접근법

**Persuasion Taxonomy**: 사회과학에서 축적된 설득 기법을 체계적으로 분류하여, 인간의 일상적 설득 패턴을 모델링.
**Persuasive Paraphraser**: 위 분류 체계를 기반으로, 해악적인 쿼리를 해독 가능한 PAP로 자동 변환하는 모듈.
**Iterative Probe**: 성공적인 PAP를 기반으로, 반복적으로 설득 기법을 조정하여 LLM을 더욱 효과적으로 해킹.
**Adapt Sys. & Tuned Smry.**: PAP에 대응하는 적응형 방어 기법. 특히 Tuned Smry.는 PAP의 핵심 해악 요청을 추출하여 모델의 안전성 가드레일을 유발.

주요 결과

PAP는 Llama 2-7b Chat, GPT-3.5, GPT-4에서 10회 시도 중 92% 이상의 공격 성공률을 기록.
Tuned Smry.는 GPT-4에서 PAP 공격 성공률을 92%에서 2%로 감소시켜, 기존 방어 기법보다 훨씬 효과적임.
Adapt Sys.는 GPT-3.5에서 PAP 공격 성공률을 94%에서 4%로 낮추며, 모델의 유용성(MT-bench 점수 8.97 → 8.85)에는 거의 영향을 미치지 않음.
PAP에 대응한 적응형 방어 기법은 GCG, PAIR 등 다른 공격에도 효과적임.

의의 및 한계

본 연구는 AI 안전성 연구에서 인간의 일상적 언어 상호작용을 고려하는 새로운 관점을 제시하며, 설득 기법을 기반으로 한 공격 벡터를 발견.
기존 방어 기법이 PAP에 대응하지 못함을 밝혀, AI 안전성 연구의 핵심 한계를 드러냄.
그러나 PAP는 해악 쿼리를 해독 가능한 형태로 변환하므로, 사용자 입장에서는 공격 의도가 명확하지 않아 모니터링이 어려울 수 있음.
또한, Tuned Smry. 같은 강력한 방어 기법은 모델의 유용성을 감소시키는 trade-off가 존재.

실용적 활용

설득 기반 공격은 일반 사용자의 일상적 대화에서 발생할 수 있으므로, 대규모 LLM 배포 시 반드시 고려해야 할 보안 위험.
연구 결과는 AI 모델의 방어 전략 설계, 특히 사용자와의 자연스러운 대화를 지원하는 서비스(예: 챗봇, 개인 비서)에 적용 가능.
설득 기법 분류 체계는 사회과학과 NLP, 계산 사회과학 분야에서도 활용 가능하며, 인간-LLM 상호작용 연구에 기초 자료로 활용될 수 있음.