Abstract
As Large Language Models (LLMs) are integrated into global software systems, ensuring equitable safety guardrails is a critical requirement. Current fairness evaluations predominantly measure bias observationally, a methodology confounded by the inherent toxicity of topics naturally paired with specific demographics in testing datasets. This study introduces a Probabilistic Graphical Model (PGM) framework to audit LLM safety mechanisms causally. By applying Pearl's do-operator, we mathematically isolate the causal effect of injecting a cultural demographic into a prompt. We conduct a large-scale empirical analysis across seven instruction-tuned models spanning diverse origins: the United States (Llama-3.1-8B, Gemma-2-9B), Europe (Mistral-7B-v0.3), the UAE (Falcon3-7B), China (Qwen2.5-7B, DeepSeek-7B), and India (Airavata-7B). Utilizing two distinct datasets (ToxiGen and BOLD), the findings reveal a disparity between observational and interventional bias, demonstrating that standard fairness metrics can overestimate demographic bias by failing to account for context toxicity. Furthermore, the causal probabilities indicate distinct alignment trends: Western models exhibit higher causal refusal rates for specific demographic groups, whereas Eastern models demonstrate low overall intervention rates with targeted sensitivities toward regional demographics. We discuss the implications of these biases, highlighting how demographic-sensitive over-triggering restricts benign discourse in downstream applications.
한국어 요약
📋 한 줄 요약
**[LLM 안전성/공정성]** Pearl의 do-연산자에 기반한 PGM 프레임워크로 LLM 안전 메커니즘의 인과적 편향을 감사하여, 7개 지역별 모델의 관찰적 편향과 개입적 편향이 다름을 실증한다.
🎯 핵심 기여도
- 관찰적 공정성 평가가 토픽-인구통계 결합 토픽 자체의 유해성에 의해 교란된다는 점을 지적
- 프롬프트 생성 과정을 PGM(DAG)으로 모델링하고 do-연산으로 인구통계 주입의 인과 효과를 분리
- 미국·유럽·UAE·중국·인도 출신 7개 instruction-tuned 모델을 ToxiGen·BOLD에서 대규모 비교
- 서구 모델은 특정 인구통계에 대한 인과적 거절률이 높고, 동방 모델은 전반적 개입률은 낮으나 지역 인구통계에 표적화된 민감성을 보이는 정렬 트렌드 차이를 입증
💡 핵심 아이디어
"X 인구통계가 들어가면 모델이 더 거절한다"라는 관찰은 그 인구통계가 자주 짝지어지는 토픽 자체의 독성으로 설명될 수 있다. 프롬프트 생성 과정을 인과 그래프로 모델링하고 do-연산을 적용하면, 토픽 토픽성을 통제한 상태에서 데모그래픽 주입의 순수한 인과 효과를 측정할 수 있다.
🔬 기술적 접근법
- **모델/방법론**: Probabilistic Graphical Model + Pearl의 do-operator를 LLM 안전성 감사에 적용
- **핵심 기법**: Figure 1의 DAG로 Topic Toxicity(T)를 confounder로 명시 → 토픽을 통제한 채 인구통계만 개입 → ToxiGen·BOLD에서 over-triggering, harmful compliance 등을 인과 확률로 측정
📊 주요 결과
- Figure 2: 7개 모델의 over-triggering vs harmful compliance 거시 비교
- Figure 4: 인구통계 그룹 간 분산(disparity) 가시화 → 서구 모델일수록 특정 그룹에 인과적 거절률이 더 높음
- Figure 5: 모델별 harmful compliance(false negative) 히트맵으로 동방 모델의 지역 표적 민감성을 확인
💭 의의 및 한계
**의의**: 공정성 측정에서 인과 추론의 필요성을 실증하고, 지정학적 출신에 따른 LLM 정렬 차이를 정량화. **한계**: 7개 모델·2개 데이터셋 범위 한정, 인과 그래프 구조의 가정에 의존하며 실서비스 응답 분포로의 일반화는 추가 검증이 필요.
🚀 실용적 활용
- 글로벌 서비스에 다지역 LLM을 도입할 때 지역별 편향 감사
- 안전성 벤치마크의 confounding 통제 표준화
- 규제 보고용 모델 카드의 인과적 공정성 지표