Towards Safer Large Language Models through Machine Unlearning

The rapid advancement of Large Language Models (LLMs) has demonstrated their vast potential across various domains, attributed to their extensive pretraining knowledge and exceptional generalizability. However, LLMs often encounter challenges in generating harmful content when faced with problematic prompts. To address this problem, existing work attempted to implement a gradient ascent based approach to prevent LLMs from producing harmful output. While these methods can be effective, they frequently impact the model utility in responding to normal prompts. To address this gap, we introduce Selective Knowledge negation Unlearning (SKU), a novel unlearning framework for LLMs, designed to eliminate harmful knowledge while preserving utility on normal prompts. Specifically, SKU is consisted of two stages: harmful knowledge acquisition stage and knowledge negation stage. The first stage aims to identify and acquire harmful knowledge within the model, whereas the second is dedicated to remove this knowledge. SKU selectively isolates and removes harmful knowledge in model parameters, ensuring the model's performance remains robust on normal prompts. Our experiments conducted across various LLM architectures demonstrate that SKU identifies a good balance point between removing harmful information and preserving utility.

한 줄 요약

SKU는 LLM에서 유해한 지식을 선택적으로 제거하면서 정상 프롬프트에 대한 성능을 유지하는 2단계 언러닝 프레임워크이다.

핵심 기여도

SKU는 유해한 지식 제거와 모델 유틸리티 유지 사이의 균형을 최초로 탐구한 연구이다.
SKU는 유해 지식 획득 단계와 지식 부정 단계로 구성된 2단계 프레임워크를 제안한다.
모듈로는 가이드 디스토션 모듈, 랜덤 디소시에이션 모듈, 보존 발산 모듈을 포함한다.
실험에서 SKU는 유해 정보 제거와 정상 프롬프트 성능 유지 사이의 균형을 효과적으로 달성함을 보여준다.

핵심 아이디어

기존의 언러닝 방법은 유해한 출력을 방지하기 위해 그래디언트 오름 방식을 사용했으나, 정상 프롬프트에 대한 모델 성능을 저하시키는 문제가 있었다. SKU는 이 문제를 해결하기 위해 LLM이 유해한 지식을 선택적으로 학습하고, 이후 이를 체계적으로 제거하는 2단계 프레임워크를 제안한다. 첫 번째 단계인 유해 지식 획득 단계는 다양한 유해한 지식을 모델에 강화시켜 쉽게 식별할 수 있도록 한다. 두 번째 단계인 지식 부정 단계는 ‘태스크 벡터 부정’의 개념을 활용해 이 유해한 지식을 제거한다. 이는 기존의 단순한 제거 방식과 달리, 모델의 전체 유틸리티를 유지하면서 유해한 지식을 효과적으로 제거할 수 있다는 점에서 차별화된다.

기술적 접근법

SKU는 다음과 같은 두 단계로 구성된다:

**유해 지식 획득 단계**:
**가이드 디스토션 모듈**: 유해한 응답을 직접 학습하도록 유도.
**랜덤 디소시에이션 모듈**: 다양한 유해한 프롬프트-응답 쌍으로부터 다각적인 유해 정보를 학습.
**보존 발산 모듈**: 정상 프롬프트에 대한 성능 차이를 최소화하여 모델 유틸리티 유지.
**지식 부정 단계**:
이전 단계에서 학습된 유해 지식을 ‘태스크 벡터 부정’을 통해 체계적으로 제거.
실험에서는 **BLEURT**와 **퍼플렉시티**를 사용해 모델의 유해성과 유틸리티를 평가.

주요 결과

SKU는 다양한 LLM 아키텍처에서 유해 정보 제거와 정상 프롬프트 성능 유지 사이의 균형을 효과적으로 달성함을 실험적으로 입증.
**GPT-4 기반 평가**에서 유해성은 감소했으며, 정상 프롬프트에 대한 응답 유사도(BLEURT)는 기존 모델과 거의 동일한 수준 유지.
**아블레이션 실험**(Table 2)에서 각 모듈이 모델 유틸리티와 언러닝 효과 간 균형에 기여함을 보여줌.

의의 및 한계

SKU는 LLM에서 유해한 지식을 선택적으로 제거하면서 모델의 전체 성능을 유지하는 새로운 접근법을 제시한다. 기존의 RLHF나 그래디언트 기반 언러닝 방식보다 계산 효율적이며, 정상 프롬프트에 대한 성능 저하를 최소화할 수 있다. 그러나 실험 결과는 명시적인 수치 개선 폭이 없어 정량적 평가의 한계가 있다. 또한, 모델 내 유해한 지식의 정의와 식별 기준이 외부 평가자에 따라 달라질 수 있어, 정책적·윤리적 판단에 의존한다는 점도 한계로 지적된다.

실용적 활용

SKU는 언론, 챗봇, 고객 서비스 등에서 LLM의 안전한 사용을 보장하는 데 활용될 수 있다. 특히, 정책 규제가 엄격한 환경에서 유해한 출력을 줄이면서도 모델의 전체 성능을 유지해야 하는 상황에 적합하다.