A StrongREJECT for Empty Jailbreaks

Most jailbreak papers claim the jailbreaks they propose are highly effective, often boasting near-100% attack success rates. However, it is perhaps more common than not for jailbreak developers to substantially exaggerate the effectiveness of their jailbreaks. We suggest this problem arises because jailbreak researchers lack a standard, high-quality benchmark for evaluating jailbreak performance, leaving researchers to create their own. To create a benchmark, researchers must choose a dataset of forbidden prompts to which a victim model will respond, along with an evaluation method that scores the harmfulness of the victim model's responses. We show that existing benchmarks suffer from significant shortcomings and introduce the StrongREJECT benchmark to address these issues. StrongREJECT's dataset contains prompts that victim models must answer with specific, harmful information, while its automated evaluator measures the extent to which a response gives useful information to forbidden prompts. In doing so, the StrongREJECT evaluator achieves state-of-the-art agreement with human judgments of jailbreak effectiveness. Notably, we find that existing evaluation methods significantly overstate jailbreak effectiveness compared to human judgments and the StrongREJECT evaluator. We describe a surprising and novel phenomenon that explains this discrepancy: jailbreaks bypassing a victim model's safety fine-tuning tend to reduce its capabilities. Together, our findings underscore the need for researchers to use a high-quality benchmark, such as StrongREJECT, when developing new jailbreak attacks. We release the StrongREJECT code and data at https://strong-reject.readthedocs.io/en/latest/.

한 줄 요약

StrongREJECT은 기존 벤치마크보다 인간 평가와 높은 일관성을 보이는 새로운 제일브레이크 평가 기준을 제시한다.

핵심 기여도

기존 제일브레이크 평가 방법이 인간 판단보다 과도하게 공격 효과를 과장한다는 것을 실증적으로 밝힘.
StrongREJECT 데이터셋은 구체적이고 해로운 정보를 요구하는 프롬프트로 구성됨.
StrongREJECT 평가기는 인간 평가와의 평균 절대 오차(MAE)가 0.035 이하로, 기존 자동 평가 방법보다 정확함.
제일브레이크가 모델의 안전 조정을 우회할수록 모델의 능력이 감소한다는 새로운 현상을 제시함.

핵심 아이디어

기존 제일브레이크 연구는 공격 성공률을 90% 이상으로 주장하지만, 실제 해로운 정보 제공은 미미한 경우가 많다. 이는 평가 기준의 부재와 불완전함에서 비롯된다. StrongREJECT는 해로운 정보 제공의 정도를 정량적으로 평가하는 새로운 벤치마크를 제시한다. 특히, 평가기는 단순히 모델이 거부하지 않았는지 여부가 아니라, 공격자가 얻을 수 있는 유용한 정보의 양을 측정한다. 이는 기존 평가 방법이 공격 효과를 과대평가하는 주요 원인으로 작용한다. StrongREJECT는 인간 평가와의 일관성(상관계수)과 정확도(MAE)를 기준으로 기존 자동 평가 방법을 초과한다.

기술적 접근법

**StrongREJECT 데이터셋**: 60개의 해로운 프롬프트로 구성된 평가 집합. 각 프롬프트는 구체적이고 사실적으로 검증 가능한 해로운 정보를 요구함.
**StrongREJECT 평가기**: 해로운 응답이 공격자에게 제공하는 유용한 정보의 정도를 측정. 두 가지 버전이 있음:
**Rubric-based evaluator**: 인간 평가 기준을 기반으로 한 평가기.
**Fine-tuned evaluator**: Llama 2 13B 기반으로 미세 조정된 평가기.
**비교 대상 평가기**: String matching, PICT, GPT-4 Judge, PAIR, OpenAI moderation API, HarmBench 등 6개의 기존 자동 평가기와 비교함.
**인간 평가**: LabelBox에서 5명의 라벨러가 1,361개의 응답을 1~5점으로 평가. 최종 점수는 5명의 중앙값을 [0-1]로 재조정함.

주요 결과

**StrongREJECT 평가기의 정확도**: 인간 평가와의 평균 절대 오차(MAE)는 0.035 (fine-tuned) 및 0.039 (rubric-based). 이는 기존 자동 평가기(예: String matching의 MAE 0.16 이상)보다 훨씬 낮음.
**StrongREJECT의 공정성**: 기존 평가기 중 String matching은 평균적으로 0.16의 오차로 공격 효과를 과대평가함. 반면, StrongREJECT는 거의 편향이 없음.
**GPT-3.5 Turbo에서의 순위 정확도**: 인간 평가와 StrongREJECT 평가기의 Spearman 상관계수는 0.8 이상. HarmBench와 유사한 수준.
**모델 능력 감소 현상**: 제일브레이크가 모델의 안전 조정을 우회할수록 모델의 응답 능력이 감소함. 이는 기존 평가가 공격 효과를 과대평가하는 주요 원인.

의의 및 한계

StrongREJECT는 제일브레이크 연구에서 사용되는 평가 기준의 부족을 해결하고, 공격 효과를 보다 정확하게 측정할 수 있는 기준을 제시한다. 특히, 인간 평가와의 높은 일관성과 정확도는 기존 자동 평가 방법의 한계를 드러내며, 연구자들이 신뢰할 수 있는 평가 기준을 채택하도록 유도한다. 그러나 StrongREJECT는 특정 모델(예: GPT-4, Llama-2)에만 적용되었으며, 다양한 모델과 환경에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 인간 평가의 주관성에 의존하는 한계도 존재한다.

실용적 활용

StrongREJECT는 제일브레이크 공격의 실제 해로움을 정확히 평가하고, 모델의 안전성을 개선하는 데 활용될 수 있다. 보안 연구자나 AI 모델 개발자들이 공격 방법을 평가하거나, 모델의 안전 조정을 개선할 때 사용할 수 있다. 특히, 모델이 안전 조정을 우회할 경우 능력이 감소한다는 점은 모델의 안전 조정 전략을 재고하는 데 중요한 통찰을 제공한다.