Programming Refusal with Conditional Activation Steering

LLMs have shown remarkable capabilities, but precisely controlling their response behavior remains challenging. Existing activation steering methods alter LLM behavior indiscriminately, limiting their practical applicability in settings where selective responses are essential, such as content moderation or domain-specific assistants. In this paper, we propose Conditional Activation Steering (CAST), which analyzes LLM activation patterns during inference to selectively apply or withhold activation steering based on the input context. Our method is based on the observation that different categories of prompts activate distinct patterns in the model's hidden states. Using CAST, one can systematically control LLM behavior with rules like"if input is about hate speech or adult content, then refuse"or"if input is not about legal advice, then refuse."This allows for selective modification of responses to specific content while maintaining normal responses to other content, all without requiring weight optimization. We release an open-source implementation of our framework at github.com/IBM/activation-steering .

한 줄 요약

CAST는 입력 문맥에 따라 활성화 조정을 선택적으로 적용하여 LLM의 반응을 조절하는 새로운 프레임워크이다.

핵심 기여도

조건 벡터(condition vector)를 도입하여 활성화 조정(activation steering)에 조건부 제어를 추가.
"if input is about hate speech or adult content, then refuse"와 같은 규칙을 적용하여 특정 콘텐츠에 대한 거부 반응을 선택적으로 유도.
가중치 최적화 없이도 정확한 행동 제어가 가능하며, 기존 활성화 조정의 효율성을 유지.
CAST의 오픈소스 구현체를 IBM GitHub에 공개 (github.com/IBM/activation-steering).

핵심 아이디어

기존 활성화 조정 방법은 모든 입력에 대해 일관되게 적용되어 선택적 반응을 필요로 하는 상황에서 한계가 있었다. CAST는 LLM의 숨겨진 상태(hidden states)에서 특정 프롬프트가 유발하는 활성화 패턴을 분석하여, 입력 문맥에 따라 활성화 조정을 선택적으로 적용하는 방식이다. 이는 "거부 벡터(refusal vector)"를 특정 조건에서만 적용함으로써, 해로운 콘텐츠는 거부하면서도 무해한 콘텐츠는 정상적으로 처리할 수 있게 한다. 핵심 아이디어는 활성화 벡터를 단순히 행동 조정 수단이 아닌, 조건 인식(condition indicator)으로 활용하는 데 있다.

기술적 접근법

CAST는 활성화 조정의 3단계 구조를 기반으로 하되, 조건 벡터(condition vector)를 도입하여 조건부 적용을 가능하게 한다.

**Steering Vector 추출**: 특정 행동(예: 거부)을 유도하는 활성화 차이를 계산하여 steering vector를 생성.
**Inference 시 조건 비교**: 입력에 대한 조건 벡터와 모델의 활성화를 비교하여 거부 벡터를 적용할지 결정.
**ActAdd 방식**: $ \mathbf{h} + \alpha \mathbf{v} $ 형태로, 선택된 레이어의 활성화에 steering vector를 더함.
**Hyperparameter**: 스케일링 인자 $ \alpha $를 사용하여 조정 강도를 조절.
**Efficiency**: 가중치 최적화 없이도 런타임, 컴퓨팅 효율성을 유지 (Figure 6 참조).

주요 결과

"hate speech or adult content" 관련 입력에 대해 90% 이상의 거부율 달성 (Figure 8a).
"legal advice"가 아닌 입력에 대해서는 85% 이상의 거부율을 유지 (Figure 9a).
기존 활성화 조정 대비 선택적 반응 정확도가 향상됨.
CAST는 정확도 손실 없이도 행동 규칙을 조합하여 적용 가능 (Figure 10 참조).

의의 및 한계

CAST는 LLM의 행동을 선택적이고 정밀하게 제어할 수 있는 새로운 차원의 조정 방식을 제시한다. 특히, 가중치 최적화 없이도 행동 규칙을 적용할 수 있어, 실시간 콘텐츠 모니터링, 도메인별 어시스턴트 등에 유용하다. 또한, 기존 활성화 조정의 단점을 보완하여, 효율성과 유연성을 동시에 확보한 점이 학술적·실용적 가치로 평가된다. 그러나 특정 도메인에서의 일반화 가능성이나 조건 벡터의 정확도에 대한 추가 연구가 필요하다는 한계가 있다.

실용적 활용

CAST는 콘텐츠 모더레이션, 법률/의료 도메인 어시스턴트, 안전 정책 준수 모델 등에서 즉각적이고 선택적인 반응 제어가 필요한 상황에 적용 가능하다. 특히, 정책 변경 시 빠른 행동 규칙 업데이트가 필요한 산업에서 유용하다.