Assessing the Brittleness of Safety Alignment via Pruning and Low-Rank Modifications

Large language models (LLMs) show inherent brittleness in their safety mechanisms, as evidenced by their susceptibility to jailbreaking and even non-malicious fine-tuning. This study explores this brittleness of safety alignment by leveraging pruning and low-rank modifications. We develop methods to identify critical regions that are vital for safety guardrails, and that are disentangled from utility-relevant regions at both the neuron and rank levels. Surprisingly, the isolated regions we find are sparse, comprising about $3\%$ at the parameter level and $2.5\%$ at the rank level. Removing these regions compromises safety without significantly impacting utility, corroborating the inherent brittleness of the model's safety mechanisms. Moreover, we show that LLMs remain vulnerable to low-cost fine-tuning attacks even when modifications to the safety-critical regions are restricted. These findings underscore the urgent need for more robust safety strategies in LLMs.

한 줄 요약

LLM의 안전 메커니즘이 3% 이하의 파라미터와 2.5% 이하의 랭크만으로 구성되어 있어 취약하다는 점을 실증적으로 밝힘.

핵심 기여도

Llama2-chat 모델에서 안전에 중요한 뉴런은 전체 파라미터의 약 3%에 해당함.
안전에 중요한 랭크는 전체 랭크의 약 2.5%에 해당함.
이러한 안전-중요 영역을 제거하면 모델의 안전성이 90% 이상 약화되지만, 유틸리티는 거의 영향을 받지 않음.
안전-중요 영역을 고정해도 저비용 파인튜닝 공격에 취약함.

핵심 아이디어

LLM의 안전 메커니즘은 모델 내부에서 매우 희소한 구조로 구성되어 있다는 점을 밝히는 것이 핵심이다. 연구팀은 **뉴런 제거**와 **ActSVD**라는 저랭크 분해 알고리즘을 통해 안전-중요 영역을 식별하고 분리한다. 이는 기존 연구에서 사용된 **가중치 속성 분석(weight attribution)** 방법을 기반으로 하며, 특히 **set difference**와 **orthogonal projection** 기법을 통해 안전과 유틸리티가 겹치는 영역을 분리한다. 연구는 안전-중요 뉴런과 랭크가 모델 전체에 희소하게 분포함을 발견하고, 이는 안전 메커니즘이 외부 조작에 취약한 이유를 설명한다.

기술적 접근법

**뉴런 제거(neuron removal)**: 특정 뉴런의 가중치를 0으로 설정하여 안전 영향을 측정.
**ActSVD**: 데이터 기반 저랭크 분해 알고리즘으로, 각 가중치 행렬에서 안전-중요 랭크를 식별.
**Set difference method**: 뉴런 속성 분석에서 안전-중요 뉴런을 식별.
**Orthogonal projection method**: 랭크 속성 분석에서 안전-중요 랭크를 분리.
**Llama2-chat 모델**을 대상으로 실험.
**파라미터 수준**: 3%의 뉴런이 안전에 기여.
**랭크 수준**: 2.5%의 랭크가 안전에 기여.

주요 결과

**Llama2-chat 모델에서 안전-중요 뉴런은 전체 파라미터의 3%**, 안전-중요 랭크는 전체 랭크의 2.5%에 해당함.
**이 영역을 제거하면 모델의 안전성은 0%에서 90% 이상 약화되지만, 유틸리티는 거의 영향을 받지 않음**.
**안전-중요 영역을 고정해도 저비용 파인튜닝 공격에 취약함**.
**제거되지 않은 뉴런/랭크는 모델의 안전성을 약간 개선할 수 있음** (Section 4.2).

의의 및 한계

이 연구는 LLM의 안전 메커니즘이 모델 내부에서 매우 희소한 구조로 구성되어 있다는 점을 실증적으로 밝힘으로써, 안전성의 근본적인 취약성을 이해하는 데 기여한다. 특히, **안전-중요 뉴런과 랭크의 희소성**은 **모델 내재적 메트릭**으로서 안전 메커니즘의 취약성을 평가하는 데 활용될 수 있다. 그러나 연구는 **특정 모델(Llama2-chat)에만 적용되었으며**, 다른 모델에서 동일한 결과가 나올지는 추가 연구가 필요하다. 또한, **저비용 파인튜닝 공격에 대한 방어 전략**은 아직 개발되지 않았다.

실용적 활용

이 연구는 LLM의 안전 메커니즘을 강화하기 위한 **가중치 속성 분석 기반의 모니터링 및 디버깅 도구** 개발에 활용될 수 있다. 또한, **모델의 안전성 평가 시, 희소성 기반 지표를 도입**하여 기존의 레드팀 테스트를 보완할 수 있다. 산업적으로는 **모델 배포 전 안전성 검증 프로세스**에 통합될 수 있으며, **저비용 공격에 대한 방어 전략 설계**에도 기초가 될 수 있다.