Implicit Safety Alignment from Crowd Preferences

Reinforcement Learning from Human Feedback (RLHF) can reveal implicit objectives such as safety considerations that go beyond task completion. In this work, we focus on the common safety criteria embedded in crowd preference datasets, where different users may express distinct preferences or objectives, yet follow similar safety principles. Our aim is to discover shared safety criteria from crowd preferences and then transfer them to downstream RL tasks to regularize agent behavior and enforce safety. We first show that direct reward combination-optimizing a preference-learned reward model together with downstream task rewards-has inherent limitations. Motivated by this, we propose Safe Crowd Preference-based RL, a hierarchical framework that extracts safety-aligned skills from crowd preferences and composes them via a high-level policy to safely solve downstream tasks. Experiments across safe RL environments and a preliminary LLM-style task with diverse user goals and shared safety constraints demonstrate that our approach substantially lowers safety costs without access to explicit safety rewards, while achieving task performance comparable to oracle methods trained with ground-truth safety signals.

한 줄 요약

**[RLHF / 안전 정렬]** Safe Crowd Preference-based RL이 군중 선호 데이터에서 공유 안전 기준을 추출해 hierarchical skill로 구성, 명시적 safety reward 없이도 oracle 수준 task 성능 유지하며 safety cost 대폭 감소.

핵심 기여도

RLHF가 task 완수 이상의 implicit objective(특히 안전)를 드러낼 수 있음을 관찰, 군중 선호 데이터셋에 임베디드된 공통 안전 기준에 초점.
서로 다른 사용자가 distinct 선호·목표를 표현하더라도 유사한 안전 원칙을 따른다는 가정 하에, 공유 안전 기준을 발견·downstream RL task로 transfer해 에이전트 행동을 regularize하고 안전을 강제하는 것을 목표로 함.
Preference-learned reward와 downstream task reward를 직접 결합하는 reward combination이 inherent 한계가 있음을 입증.
Safe Crowd Preference-based RL 제안 — 군중 선호에서 안전 정렬 skill을 추출하고 high-level 정책으로 composing해 downstream task를 안전하게 해결하는 hierarchical 프레임워크.

핵심 아이디어

다양한 사용자 선호가 공유하는 implicit 안전 원칙을 reward 결합으로 단순 합치는 대신, hierarchical 구조로 안전 skill과 task 정책을 분리·결합하면 explicit safety reward 없이도 안전과 task 성능을 동시 달성할 수 있다.

기술적 접근법

**방법론**: Safe Crowd Preference-based RL — hierarchical RL + crowd preference learning.
**핵심 기법**: (1) Crowd preference dataset에서 safety-aligned skill 추출, (2) High-level 정책이 skill을 composing해 downstream task 수행, (3) Reward combination 한계 분석, (4) Safe RL 환경·preliminary LLM-style task 양 환경에서 평가, (5) Ground-truth safety signal에 접근 없는 가운데 oracle method와 비교.

주요 결과

Safe RL 환경 다수와 LLM-style task에서 safety cost를 substantial 수준으로 낮춤.
Explicit safety reward 없이도 oracle method(ground-truth safety signal 사용)에 comparable한 task 성능 달성.
Reward combination 방식의 limitation을 정량 노출.

의의 및 한계

**의의**: RLHF에서 safety를 implicit objective로 추출하는 새 패러다임, hierarchical 분해로 safety·task 분리, oracle 수준 성능을 explicit signal 없이 달성. **한계**: 군중 선호의 안전 합의가 약할 때의 추출 한계, LLM-style task가 preliminary 수준, hierarchical 구조 hyperparameter 부담.

실용적 활용

RLHF 기반 LLM 안전 정렬.
자율주행·로봇 safe RL.
다양 사용자 선호 환경의 일반 안전 학습.