WildGuard: Open One-Stop Moderation Tools for Safety Risks, Jailbreaks, and Refusals of LLMs

We introduce WildGuard -- an open, light-weight moderation tool for LLM safety that achieves three goals: (1) identifying malicious intent in user prompts, (2) detecting safety risks of model responses, and (3) determining model refusal rate. Together, WildGuard serves the increasing needs for automatic safety moderation and evaluation of LLM interactions, providing a one-stop tool with enhanced accuracy and broad coverage across 13 risk categories. While existing open moderation tools such as Llama-Guard2 score reasonably well in classifying straightforward model interactions, they lag far behind a prompted GPT-4, especially in identifying adversarial jailbreaks and in evaluating models' refusals, a key measure for evaluating safety behaviors in model responses. To address these challenges, we construct WildGuardMix, a large-scale and carefully balanced multi-task safety moderation dataset with 92K labeled examples that cover vanilla (direct) prompts and adversarial jailbreaks, paired with various refusal and compliance responses. WildGuardMix is a combination of WildGuardTrain, the training data of WildGuard, and WildGuardTest, a high-quality human-annotated moderation test set with 5K labeled items covering broad risk scenarios. Through extensive evaluations on WildGuardTest and ten existing public benchmarks, we show that WildGuard establishes state-of-the-art performance in open-source safety moderation across all the three tasks compared to ten strong existing open-source moderation models (e.g., up to 26.4% improvement on refusal detection). Importantly, WildGuard matches and sometimes exceeds GPT-4 performance (e.g., up to 3.9% improvement on prompt harmfulness identification). WildGuard serves as a highly effective safety moderator in an LLM interface, reducing the success rate of jailbreak attacks from 79.8% to 2.4%.

한 줄 요약

WildGuard는 LLM 안전성 모니터링을 위한 다중 작업 오픈 소스 도구로, 13개 위험 범주에서 뛰어난 성능을 보인다.

핵심 기여도

**WildGuardMix** 데이터셋(92K 라벨 데이터)을 제안, 13개 위험 범주와 정면/적대적 프롬프트를 포함.
**WildGuardTest**라는 5,299개의 높은 품질 인간 라벨 테스트셋을 제공.
기존 오픈 소스 도구 대비 **26.4%** 개선된 **거부 감지** 성능.
GPT-4 대비 **3.9%** 개선된 **프롬프트 해로운성 감지** 성능.

핵심 아이디어

WildGuard는 기존 안전성 모니터링 도구가 적대적 프롬프트(jailbreak)나 모델 거부(refusal)를 효과적으로 감지하지 못한다는 문제를 해결하기 위해 설계되었다. 기존 도구는 정면 프롬프트에 효과적이지만, jailbreak 공격이나 모델의 거부 판단 능력이 부족하다. 이에 따라, WildGuard는 **WildGuardMix**라는 다중 작업 데이터셋을 구축하여, 정면 및 적대적 프롬프트, 다양한 모델 응답(거부 및 준수)을 아우르는 훈련 데이터를 제공한다. 특히, **WildGuardTrain**과 **WildGuardTest**를 통해 모델 훈련과 평가를 분리하여, 안정적이고 신뢰할 수 있는 성능 평가를 가능하게 한다.

기술적 접근법

**WildGuardMix**: 92K 라벨 데이터, 13개 위험 범주, 정면/적대적 프롬프트, 거부/준수 응답 포함.
**WildGuardTrain**: 87K 훈련 샘플.
**WildGuardTest**: 5,299개의 높은 품질 인간 라벨 데이터.
**다중 작업 학습**(multi-task learning)을 통해 3가지 안전성 태스크(프롬프트 해로운성, 응답 해로운성, 거부 감지)를 동시에 학습.
**F1 점수**를 기준으로 10개 공개 벤치마크와 WildGuardTest에서 평가.

주요 결과

**WildGuardTest**에서 기존 오픈 소스 도구 대비 **거부 감지**에서 최대 **26.4%** 개선.
**프롬프트 해로운성 감지**에서 GPT-4 대비 **3.9%** 개선.
**Jailbreak 공격 성공률**을 79.8%에서 **2.4%**로 감소시킴.
10개 공개 벤치마크에서 3가지 태스크에서 **SOTA 성능** 달성.

의의 및 한계

WildGuard는 LLM 안전성 모니터링 도구로서, 기존 오픈 소스 도구와 닫힌 소스 도구(GPT-4) 간의 성능 격차를 줄이는 데 기여한다. 특히, **적대적 프롬프트 감지**와 **모델 거부 판단**이라는 두 가지 핵심 문제를 해결하며, **다중 작업 학습**을 통해 모델의 일반화 능력을 높였다. 다만, **WildGuardMix**는 특정 위험 범주에 치우치지 않도록 균형을 유지했지만, 모든 실제 상황을 포괄하지는 못하며, **더 넓은 범위의 데이터 확장**이 필요할 수 있다.

실용적 활용

WildGuard는 LLM 기반 챗봇, 콘텐츠 필터링 시스템, 모델 안전성 평가 도구 등에 적용 가능하다. 특히, **적대적 공격 감지**와 **모델 거부 판단**이 필요한 산업 현장에서 유용하며, **오픈 소스**로 제공되어 연구 및 개발자들이 쉽게 활용할 수 있다.