HarmBench: A Standardized Evaluation Framework for Automated Red Teaming and Robust Refusal

Automated red teaming holds substantial promise for uncovering and mitigating the risks associated with the malicious use of large language models (LLMs), yet the field lacks a standardized evaluation framework to rigorously assess new methods. To address this issue, we introduce HarmBench, a standardized evaluation framework for automated red teaming. We identify several desirable properties previously unaccounted for in red teaming evaluations and systematically design HarmBench to meet these criteria. Using HarmBench, we conduct a large-scale comparison of 18 red teaming methods and 33 target LLMs and defenses, yielding novel insights. We also introduce a highly efficient adversarial training method that greatly enhances LLM robustness across a wide range of attacks, demonstrating how HarmBench enables codevelopment of attacks and defenses. We open source HarmBench at https://github.com/centerforaisafety/HarmBench.

한 줄 요약

HarmBench는 자동 레드팀 테스트와 LLM의 안정적 거부를 평가하기 위한 표준 평가 프레임워크로, 18개 공격 방법과 33개 모델을 대규모 비교한 결과를 제시한다.

핵심 기여도

HarmBench를 소개하여 자동 레드팀 평가의 표준화를 제시.
18개 레드팀 공격 방법과 33개 LLM/방어 기법을 대규모 비교.
GCG 공격에 대해 최고 수준의 안정성을 보이는 새로운 적대적 훈련 방법 제안.
평가 프레임워크의 3가지 핵심 속성(breadth, comparability, robust metrics)을 명시.

핵심 아이디어

기존 자동 레드팀 평가가 비교 가능성과 폭넓은 평가 기준을 갖추지 못한 문제를 해결하기 위해, HarmBench는 평가의 **폭넓은 범위(breadth)**, **비교 가능성(comparability)**, **안정적인 지표(robust metrics)**를 충족하도록 설계되었다. 이는 기존 연구에서 간과되었던 평가 속성을 체계적으로 반영한 것이다. 특히, HarmBench는 다양한 공격 방식과 방어 기법 간의 상호작용을 분석함으로써, 공격과 방어의 공동 개발(codvelopment)을 가능하게 한다. 예를 들어, 적대적 훈련에서 **away loss**와 **toward loss**를 결합하여 모델이 특정 거부 문구를 생성하도록 유도하는 방식이 제안되었다.

기술적 접근법

**HarmBench 평가 파이프라인**은 3단계로 구성됨:

1. **Test Case 생성**: 레드팀 방법 $ g $가 행동 집합 $ \{y_1, y_2, \dots, y_M\} $에 따라 테스트 케이스 $ \{x_1, x_2, \dots, x_N\} $를 생성.
2. **Completion 생성**: 타겟 LLM $ f $가 테스트 케이스에 대해 $ T $ 토큰을 생성.
3. **Completion 평가**: 분류기 $ c $를 사용하여 **ASR**(Attack Success Rate) 계산.

**적대적 훈련**: **away loss**는 GCG 손실과 반대 방향으로, **toward loss**는 고정된 거부 문구 $ t_{\text{refusal}} $ 생성을 유도.
평가에 사용된 레드팀 방법: GCG, PEZ, GBDA, AutoPrompt 등 18개.
평가 대상 LLM: 33개 모델 및 방어 기법.

주요 결과

18개 공격 방법과 33개 LLM/방어 기법을 대규모 비교.
**GCG 공격**에 대해 제안된 적대적 훈련 방법이 **최고 수준의 안정성**을 보임.
**모델 크기와 안정성은 독립적**이며, 현재 어떤 공격이나 방어도 일관된 효과를 보이지 않음.
**HarmBench는 공격과 방어의 공동 개발을 촉진**하는 데 기여함.

의의 및 한계

HarmBench는 자동 레드팀 평가의 표준화를 촉진하여, 공격과 방어 기법의 비교 및 개선을 가능하게 한다. 특히, **적대적 훈련 방법**은 기존 방어 기법보다 우수한 성능을 보이며, LLM 안전성 연구에 중요한 기초를 제공한다. 그러나, 일부 레드팀 방법(예: Supervised Learning, ARCA 등)은 평가에서 제외되었으며, 이는 평가 범위의 한계로 작용할 수 있다. 또한, **HarmBench는 특정 행동 범주에만 적용**되며, 더 넓은 범위의 평가가 필요하다는 점도 지적된다.

실용적 활용

HarmBench는 LLM 개발사가 자동 레드팀 테스트를 통해 보안 취약점을 사전에 발견하고, 방어 기법을 개선하는 데 활용될 수 있다. 특히, **적대적 훈련**은 모델의 안정적 거부 능력을 향상시키는 데 효과적이며, **GCG 공격**에 대한 방어에 즉각적으로 적용 가능하다.