Benchmarking and Improving Monitors for Out-Of-Distribution Alignment Failure in LLMs

Many safety and alignment failures of large language models (LLMs) occur due to out-of-distribution (OOD) situations: unusual prompt or response patterns that are unforeseen by model developers. We systematically study whether LLM monitoring pipelines can detect these OOD alignment failures by introducing a benchmark called Misalignment Out Of Distribution (MOOD). It is difficult to find failures that are truly OOD for off-the-shelf models trained on vast safety datasets. We sidestep this by including a restricted training set in MOOD that we use to train our own monitors, as well as seven test sets with diverse alignment failures that are outside the training distribution. Using MOOD, we find that guard models (safety classifiers) often fail to generalize OOD. To fix this, we propose combining guard models with OOD detectors. We test four types of OOD detectors and find that a combination of a guard model with Mahalanobis distance and perplexity-based OOD detectors can improve recall from 39% to 45%. We also establish positive scaling trends across model scales for monitors that combine a guard model and OOD detector; we find that incorporating OOD detection into monitoring achieves a higher recall gain than using a guard model with 20 times more parameters. Our work suggests that OOD detection should be a crucial component of LLM monitoring and provides a foundation for further work on this important problem.

📋 한 줄 요약

**[LLM Safety / OOD Alignment Monitoring]** MOOD 벤치마크로 guard model의 OOD 일반화 실패 진단, Mahalanobis distance·perplexity 기반 OOD detector 결합 시 recall 39%→45%, 20× 큰 guard model보다 OOD detector 결합이 더 큰 recall 향상.

🎯 핵심 기여도

LLM의 safety·alignment 실패가 종종 OOD 상황 — 개발자가 예측 못한 비일상 prompt·response 패턴 — 에서 발생함을 지적.
LLM monitoring 파이프라인이 이 OOD alignment 실패를 탐지할 수 있는지 체계 연구하기 위해 MOOD(Misalignment Out Of Distribution) 벤치마크 도입.
Off-the-shelf 모델은 방대한 safety 데이터로 학습돼 true OOD 실패 찾기 어렵다는 어려움을 sidestep — MOOD에 제한된 training set과 그 분포 밖의 다양한 alignment 실패를 담은 7 test set 포함.
Guard model(safety classifier)이 OOD에 일반화에 자주 실패함을 발견하고, OOD detector 결합 — Mahalanobis distance·perplexity 기반 — 으로 recall 39%→45% 개선, 20× 더 큰 guard model보다 OOD detection 통합이 더 큰 recall 이득 제공.

💡 핵심 아이디어

LLM monitoring은 단일 guard model로는 OOD 실패에 generalize되지 않으며, guard model과 OOD detector(Mahalanobis·perplexity)의 결합이 모델 scaling보다 효율적인 recall 향상 경로다 — OOD detection이 LLM monitoring의 crucial component로 자리잡아야 한다.

🔬 기술적 접근법

**방법론**: MOOD 벤치마크 + guard model + OOD detector 결합 monitoring.
**핵심 기법**: (1) MOOD 구성 — 제한된 training set + 7 OOD test set의 다양 alignment 실패, (2) 자체 monitor 학습으로 진정한 OOD 평가 가능, (3) 4 type OOD detector(Mahalanobis distance, perplexity 등) 테스트, (4) Guard model + OOD detector 결합 monitoring 파이프라인, (5) Model scale 대비 OOD detection 통합의 효율성 비교.

📊 주요 결과

Guard model + Mahalanobis + perplexity OOD detector 결합으로 recall 39%→45% 개선.
Model scale 전반의 positive scaling trend 확립.
20× 더 많은 parameter의 guard model보다 OOD detection 통합이 더 높은 recall gain.
기본 guard model은 OOD에 일반화 실패함을 정량 입증.

💭 의의 및 한계

**의의**: LLM safety monitoring에 OOD detection을 핵심 component로 정립, MOOD로 후속 연구 기반 제공, scaling보다 효율적인 monitoring 향상 경로 입증. **한계**: 자체 학습 monitor의 일반화는 MOOD 외 distribution에서 검증 필요, recall 39→45는 절대값으로는 여전히 개선 여지, 4 detector type 외 더 정교한 OOD 방법 미탐색.

🚀 실용적 활용

프로덕션 LLM safety monitoring 강화.
Jailbreak·unusual prompt 탐지.
Safety classifier의 OOD 일반화 평가.