AdvPrompter: Fast Adaptive Adversarial Prompting for LLMs

Large Language Models (LLMs) are vulnerable to jailbreaking attacks that lead to generation of inappropriate or harmful content. Manual red-teaming requires a time-consuming search for adversarial prompts, whereas automatic adversarial prompt generation often leads to semantically meaningless attacks that do not scale well. In this paper, we present a novel method that uses another LLM, called AdvPrompter, to generate human-readable adversarial prompts in seconds. AdvPrompter, which is trained using an alternating optimization algorithm, generates suffixes that veil the input instruction without changing its meaning, such that the TargetLLM is lured to give a harmful response. Experimental results on popular open source TargetLLMs show highly competitive results on the AdvBench and HarmBench datasets, that also transfer to closed-source black-box LLMs. We also show that training on adversarial suffixes generated by AdvPrompter is a promising strategy for improving the robustness of LLMs to jailbreaking attacks.

한 줄 요약

AdvPrompter는 인간 읽기 가능한 적대적 프롬프트를 초단위로 생성하는 LLM 자이징 공격 방식을 제시한다.

핵심 기여도

AdvPrompter라는 새로운 LLM을 사용하여, 1~2초 내 인간 읽기 가능한 적대적 프롬프트를 생성.
Alternating Optimization 알고리즘(AdvPrompterTrain)을 통해 빠르고 반복적인 적대적 프롬프트 생성 가능.
Vicuna-7b와 Mistral-7b에서 ASR(Attack Success Rate) 43.3% → 0.9%, 58.7% → 0.0%로 대폭 개선.
생성된 적대적 프롬프트의 perplexity가 낮아, 기존 필터링 방식을 우회 가능.

핵심 아이디어

자이징 공격은 LLM이 안전 정책을 우회하게 만드는 적대적 프롬프트를 생성하는 것이 핵심이다. 기존 방법은 계산 비용이 높거나 의미 없는 프롬프트를 생성하는 문제가 있었다.
AdvPrompter는 이 문제를 해결하기 위해, **다른 LLM을 적대적 프롬프트 생성기로 훈련**하는 방식을 제안한다. 이는 강화 학습과 유사한 방식으로, **적대적 접미사(suffix)**를 생성하며, 이 접미사는 입력 지시문의 의미를 유지하면서도 LLM이 해로운 응답을 하도록 유도한다.
AdvPrompter는 **AdvPrompterOpt** 알고리즘을 통해 반복적으로 적대적 접미사를 생성하고, 생성된 데이터로 자기 자신을 미세 조정(fine-tuning)한다. 이 과정은 **AdvPrompterTrain**이라는 대체 최적화 알고리즘을 통해 이루어진다.
결과적으로, AdvPrompter는 기존 방법 대비 **더 빠르고, 더 적응력 있고, 더 인간 읽기 가능한 적대적 프롬프트**를 생성할 수 있다.

기술적 접근법

**AdvPrompter**: 적대적 접미사를 생성하는 LLM.
**AdvPrompterOpt**: 반복적 접미사 생성 알고리즘.
**AdvPrompterTrain**: AdvPrompterOpt와 fine-tuning을 번갈아 수행하는 대체 최적화 알고리즘.
**BaseLLM**: 생성된 접미사의 인간 읽기 가능성(perplexity)을 측정하는 LLM.
**TargetLLM**: 공격 대상 LLM.
**Graybox 접근**: TargetLLM의 로그 확률(log probability)만 사용, 기울기 정보는 사용하지 않음.
**하이퍼파라미터**: 1~2초 내 생성, 반복적 multi-shot 공격 가능.

주요 결과

**AdvBench, HarmBench** 데이터셋에서 높은 공격 성공률(ASR) 달성.
**Vicuna-7b**: ASR 43.3% → 0.9% (적대적 훈련 후).
**Mistral-7b**: ASR 58.7% → 0.0% (적대적 훈련 후).
생성된 접미사의 perplexity가 낮아, 기존 필터링 기법 우회 가능.
**적대적 훈련**을 통해 TargetLLM의 자이징 공격에 대한 **로버스트성** 향상.

의의 및 한계

AdvPrompter는 LLM 자이징 공격의 **자동화와 인간 읽기 가능성**을 동시에 달성한 첫 번째 시도로, LLM 안전성 연구에 중요한 기여를 한다. 특히, **적대적 훈련을 통한 로버스트성 향상**은 실용적인 방어 전략으로 활용 가능하다.
하지만, 본 연구는 **안전 강화된 시스템 메시지** 등 일부 방어 메커니즘에만 검증되었으며, **고급 방어 기법**은 고려하지 않았다. 또한, **적대적 프롬프트 생성의 윤리적 문제**는 논의되지 않았다.

실용적 활용

AdvPrompter는 LLM 개발자들이 **자동화된 레드팀 테스트**를 수행하는 데 유용하며, **적대적 훈련 데이터셋 생성**에도 활용 가능하다. 특히, **자체적 안전 정책 개선**을 위한 반복적 훈련(AdvPrompter + TargetLLM) 시스템 구축에 기초가 될 수 있다.