Safety for Whom? Boundary-Aware Self-Distillation for Controlled LLM Safety Refusal

Safety alignment is usually posed as a topic-level question: is this subject harmful? Deployments ask a narrower one. A civics tutor and a public-sector assistant may share a base model yet need different boundaries inside the same topic, refusing targeted political manipulation while still answering factual questions about the same election. We formulate this as narrow-boundary safety and introduce an offline self-generated framework combining controlled topic generation, coverage repair, in-distribution compensation data, and harmful-benign pairs for training and evaluation. Single-shot generation leaves 19.88% of prompts without accepted refusal traces, whereas escalating retries leave 0.20%. On political persuasion with Qwen3-8B, training on refusal data completed through Escalate increases target-domain refusal from 9.47% to 84.75% and reduces the mean unsafe-response rate across three broader harmfulness benchmarks from 26.26% to 0.14%, but increases XSTest over-refusal from 2.00% to 74.00%. In a separate matched comparison, replacing external responses with verified target-model responses reduces over-refusal from 15.20% to 5.20%. Boundary-pair data reduces comply-side over-refusal on held-out pairs from 32.94% to 4.16%, while harmful-side refusal decreases only from 91.88% to 87.72%. These results show that data composition controls the safety and usability trade-off, and that safety alignment should be evaluated on both sides of the intended refusal boundary.

한 줄 요약

Qwen3-8B 모델을 대상으로, 정책에 따른 좁은 경계 안전 거부를 학습하는 오프라인 자가 생성 프레임워크를 제시하고, 경계 정확도와 안전성-사용성의 균형을 평가한다.

핵심 기여도

**Narrow-boundary safety** 개념을 제시: 특정 주제 내에서만 거부할 해로운 부분을 학습, 전체 주제 거부가 아닌 정책 기반 거부를 목표로 함.
**Coverage repair** 기법을 도입: 단일 샷 생성이 19.88%의 프롬프트를 누락시키는 문제를 해결, 재시도 후 0.20%로 감소.
**Boundary-pair data**를 사용: 정답/거부 쌍을 통해 경계 정확도를 향상, 32.94% → 4.16%로 감소.
**In-distribution compensation data**를 생성: 표면적으로 위험해 보이는 무해한 프롬프트를 포함, XSTest 과거부 비율 15.20% → 5.20% 감소.

핵심 아이디어

기존 안전 정렬은 주제 전체를 기준으로 해로움 여부를 판단하지만, 실제 배포 환경에서는 동일 주제 내에서도 정책에 따라 다른 거부 경계가 필요하다. 예를 들어, 정치 주제 내에서는 선거 관련 사실 질문은 답변해야 하지만, 선동적 유도는 거부해야 한다. 이를 **narrow-boundary safety**로 정의하고, **hierarchical generation**, **coverage repair**, **in-distribution compensation**, **harmful-benign pair**를 결합한 오프라인 자가 생성 프레임워크를 제시한다. 이는 단순히 거부율을 높이는 것이 아니라, **정확한 경계 학습**을 목표로 한다.

기술적 접근법

**Controlled topic generation**: 인물, 길이, 스타일, 중복 생성을 통한 주제별 프롬프트 생성.
**Coverage repair**: 단일 샷 생성 시 19.88%의 프롬프트가 누락되는 문제를 해결, 재시도 후 0.20%로 줄임.
**In-distribution compensation data**: 표면 위험한 무해 프롬프트 11,955개 생성, XSTest 과거부 감소.
**Harmful-benign pairs**: 1,539개의 경계 쌍 데이터를 사용해 경계 정확도 향상.
**Escalate**: 반복 생성을 통해 거부 데이터를 완성, 정치 선동 주제에서 거부율 9.47% → 84.75% 증가.

주요 결과

**Political persuasion** 데이터셋에서 Qwen3-8B 모델의 거부율 9.47% → 84.75% 증가.
**3개의 해로움 벤치마크**에서 평균 안전하지 않은 응답률 26.26% → 0.14% 감소.
**XSTest 과거부 비율** 2.00% → 74.00% 증가 (단, 내부 검증 응답 사용 시 15.20% → 5.20% 감소).
**Boundary-pair 데이터**로 무해 측 과거부 32.94% → 4.16% 감소, 해로운 측 거부율 91.88% → 87.72% 감소.

의의 및 한계

이 연구는 기존 안전 정렬이 단순히 거부율을 높이는 데 집중하는 반면, **정확한 경계 학습**이 필요하다는 점을 강조한다. 특히, **경계 양측의 거부/응답 정확도를 동시에 평가**하는 새로운 평가 체계를 제시한 점이 학술적 의의이다. 그러나, **과거부 비율 증가**는 사용성 저하로 이어질 수 있으며, **경계 정확도 향상은 정밀도 희생**을 수반한다는 한계가 있다. 또한, **종교 주제 데이터는 생성되었으나 실험에 사용되지 않았다**는 점도 한계로 작용할 수 있다.

실용적 활용

이 프레임워크는 **공공 부문 어시스턴트**, **교육용 모델**, **기업 내부 시스템** 등 정책에 따라 다른 안전 경계가 필요한 배포 환경에 적용 가능하다. 특히, **정치, 종교, 선동 등 민감한 주제**에서 정확한 거부 정책을 학습할 수 있어, **사용자 질문의 정당성과 안전성 사이의 균형**을 유지하는 데 유용하다.