PKU-SafeRLHF: Towards Multi-Level Safety Alignment for LLMs with Human Preference

In this study, we introduce the safety human preference dataset, PKU-SafeRLHF, designed to promote research on safety alignment in large language models (LLMs). As a sibling project to SafeRLHF and BeaverTails, we separate annotations of helpfulness and harmlessness for question-answering pairs, providing distinct perspectives on these coupled attributes. Overall, we provide 44.6k refined prompts and 265k question-answer pairs with safety meta-labels for 19 harm categories and three severity levels ranging from minor to severe, with answers generated by Llama-family models. Based on this, we collected 166.8k preference data, including dual-preference (helpfulness and harmlessness decoupled) and single-preference data (trade-off the helpfulness and harmlessness from scratch), respectively. Using the large-scale annotation data, we further train severity-sensitive moderation for the risk control of LLMs and safety-centric RLHF algorithms for the safety alignment of LLMs. We believe this dataset will be a valuable resource for the community, aiding in the safe deployment of LLMs. Data is available at https://huggingface.co/datasets/PKU-Alignment/PKU-SafeRLHF.

한 줄 요약

PKU-SafeRLHF는 LLM 안전 정렬을 위한 대규모 안전 선호도 데이터셋으로, 19개 위험 범주와 3단계 위험 수준을 기반으로 166.8k의 선호도 데이터를 제공한다.

핵심 기여도

44.6k 개의 정제된 프롬프트와 265k 개의 Q-A 쌍에 19개 위험 범주와 3단계 위험 수준의 메타 라벨을 부여.
166.8k 개의 선호도 데이터를 수집, 이 중 80% 이상의 승률을 기록하며 BeaverTails 대비 우수한 성능 보임.
안전 중심 RLHF 알고리즘과 위험 수준에 민감한 모더레이션 모델을 학습하여 LLM 안전 정렬을 구현.
Llama2-7B, Llama3-8B, Llama3-70B 모델을 기반으로 SFT 및 RLHF 실험 수행.

핵심 아이디어

PKU-SafeRLHF는 기존 안전 정렬 연구에서 도출된 한계를 극복하기 위해, 유용성과 무해성을 분리하여 독립적으로 평가하는 새로운 접근법을 제시한다. 기존 BeaverTails와 달리, 이 연구는 인간과 AI의 협업을 통해 라벨링을 수행하여 높은 일관성을 확보했다. 특히, ‘dual-preference’와 ‘single-preference’라는 두 가지 유형의 선호도 데이터를 구분하여, 유용성과 무해성 간의 trade-off 관계를 명확히 분석할 수 있도록 했다. 이는 LLM이 단순히 하나의 속성만 최적화하는 것이 아닌, 두 속성을 동시에 고려하는 정렬 알고리즘 설계에 기여한다. 또한, 위험 수준(_MINOR, MEDIUM, SEVERE)을 도입하여 모델의 안전성을 세부적으로 평가할 수 있는 기반을 마련했다.

기술적 접근법

**모델**: Llama2-7B-Base, Llama3-8B-Base, Llama3-70B-Base를 사용.
**데이터 생성**: Alpaca-1, 2, 3 모델을 사용하여 Q-A 쌍 생성.
**라벨링**: 19개 위험 범주와 3단계 위험 수준으로 메타 라벨링.
**선호도 데이터**: 166.8k 쌍으로 구성, dual-preference(유용성과 무해성 분리)와 single-preference(유용성과 무해성 trade-off)로 구분.
**학습**: RLHF를 통해 안전 중심 정렬 모델 학습.
**하이퍼파라미터**: temperature 1.5로 응답 생성, 10개 후보 응답 생성.

주요 결과

**BeaverTails 대비 성능**: PKU-SafeRLHF 기반 모델이 BeaverTails 기반 모델보다 유용성과 무해성 모두에서 80% 이상의 승률을 기록.
**정확도 향상**: 위험 수준에 민감한 모더레이션이 기존 규제 방법 대비 정확도에서 우수한 성능을 보임.
**RLHF 실험**: dual-preference 데이터를 사용한 모델이 single-preference 데이터를 사용한 모델보다 유의미한 성능 향상.
**데이터셋 규모**: 44.6k 개의 프롬프트, 265k 개의 Q-A 쌍, 166.8k 개의 선호도 데이터.

의의 및 한계

PKU-SafeRLHF는 LLM 안전 정렬 연구에 있어 대규모, 고정밀 데이터셋을 제공하며, 유용성과 무해성을 독립적으로 평가할 수 있는 새로운 프레임워크를 제시한다. 특히, 위험 수준을 세분화함으로써 모델의 안전성을 보다 세밀하게 분석할 수 있다. 또한, 인간과 AI의 협업을 통해 라벨링 일관성을 높였다는 점에서 학술적 가치가 있다. 그러나, 이 데이터셋이 악의적으로 사용될 가능성도 존재하며, 이를 방지하기 위한 윤리적 사용 가이드라인 수립이 필요하다. 또한, 데이터셋의 대부분이 Llama 계열 모델 기반으로 생성되었기 때문에, 다른 모델과의 호환성 검증이 추가 연구 주제가 될 수 있다.

실용적 활용

PKU-SafeRLHF는 LLM을 안전하게 배포하고 사용자 요구에 맞게 정렬하는 데 활용될 수 있다. 특히, 챗봇, 고객 지원 시스템, 콘텐츠 생성 도구 등에서 모델의 부정적 출력을 방지하는 데 유용하다. 또한, 연구자들이 안전 정렬 알고리즘을 개선하고, 위험 수준에 따른 필터링 정책을 설계하는 데 기초 자료로 활용될 수 있다.