Refusal in Language Models Is Mediated by a Single Direction

Conversational large language models are fine-tuned for both instruction-following and safety, resulting in models that obey benign requests but refuse harmful ones. While this refusal behavior is widespread across chat models, its underlying mechanisms remain poorly understood. In this work, we show that refusal is mediated by a one-dimensional subspace, across 13 popular open-source chat models up to 72B parameters in size. Specifically, for each model, we find a single direction such that erasing this direction from the model's residual stream activations prevents it from refusing harmful instructions, while adding this direction elicits refusal on even harmless instructions. Leveraging this insight, we propose a novel white-box jailbreak method that surgically disables refusal with minimal effect on other capabilities. Finally, we mechanistically analyze how adversarial suffixes suppress propagation of the refusal-mediating direction. Our findings underscore the brittleness of current safety fine-tuning methods. More broadly, our work showcases how an understanding of model internals can be leveraged to develop practical methods for controlling model behavior.

한 줄 요약

대규모 언어 모델의 거부 행동이 단일 방향으로 매개됨을 밝혀내고, 이를 기반으로 간단한 가중치 수정으로 안전 메커니즘을 무력화하는 방법을 제시한다.

핵심 기여도

13개의 오픈소스 대형 언어 모델(최대 72B 파라미터)에서 거부 행동이 단일 방향(subspace)으로 매개됨을 실증적으로 밝힘.
각 모델의 잔여 스트림(residual stream) 활성화에서 특정 방향을 제거하면 해로운 요청을 거부하지 않으며, 추가하면 무해한 요청에도 거부 반응을 유발함.
단일 랭크-1 가중치 수정을 통해 안전 메커니즘을 효과적으로 비활성화하는 새로운 흰색 상자 탈옥(jailbreak) 방법 제안.
적대적 접미사(adversarial suffix)가 거부 방향의 전파를 억제하는 메커니즘을 분석함.

핵심 아이디어

기존 연구에서 대형 언어 모델이 다양한 개념을 활성화 공간의 선형 방향으로 표현한다는 가정을 바탕으로, 본 연구는 "거부"라는 행동이 단일 방향으로 매개된다는 통찰을 제시한다.
연구팀은 해로운 요청과 무해한 요청의 활성화 차이를 기반으로, 각 모델에서 단일 "difference-in-means" 방향을 추출한다. 이 방향을 잔여 스트림에서 제거하면 모델이 해로운 요청을 거부하지 않으며, 반대로 추가하면 무해한 요청에도 거부 반응을 보인다.
이러한 발견은 모델 내부의 간단한 가중치 수정만으로도 안전 메커니즘을 무력화할 수 있음을 시사하며, 기존 정렬(align) 기법의 취약성을 드러낸다.

기술적 접근법

**모델**: 13개의 오픈소스 대형 언어 모델(최대 72B 파라미터) 사용.
**방법**: 해로운/무해한 요청 쌍의 활성화 차이를 기반으로 단일 "difference-in-means" 방향 추출.
**활성화 조작**: 잔여 스트림(residual stream)에서 해당 방향을 제거하거나 추가하여 거부 행동 유도/억제.
**탈옥 방법**: 단일 랭크-1(rank-one) 가중치 수정을 통해 거부 메커니즘 비활성화.
**평가**: 생성된 응답을 기반으로 "거부 점수(refusal score)"와 "안전 점수(safety score)"로 평가.

주요 결과

13개 모델에서 단일 방향 조작으로 거부 행동을 제어함.
랭크-1 가중치 수정을 통해 거부 메커니즘을 효과적으로 비활성화함.
적대적 접미사가 거부 방향의 전파를 억제하는 메커니즘을 분석함.
기존 정렬 기법이 취약함을 드러냄.
모델 내부 해석을 기반으로 실용적인 행동 제어 방법을 개발함.

의의 및 한계

본 연구는 대형 언어 모델의 안전 메커니즘이 단일 방향에 의존한다는 점을 밝힘으로써, 기존 정렬 기법의 취약성을 실증적으로 드러낸다.
이러한 발견은 모델 내부 해석을 통해 실질적인 제어 방법을 개발할 수 있음을 보여주며, 책임 있는 모델 배포 및 보안 강화에 기여할 수 있다.
그러나 본 연구는 흰색 상자 환경에서만 실험되었으며, 실제 악의적 공격 시 적용 가능성에 대한 추가 연구가 필요하다.

실용적 활용

본 연구는 대형 언어 모델의 안전 메커니즘을 이해하고, 이를 기반으로 보안 강화 및 탈옥 방지 기법을 설계하는 데 활용될 수 있다.
또한, 모델 내부 해석 기법을 기반으로 한 실용적 행동 제어 방법을 개발하는 데 기초 자료로 활용될 수 있다.
특히, 오픈소스 모델의 책임 있는 배포 및 관리에 중요한 참고 자료가 될 수 있다.