Conditional Reliability of Toxicity Signals for Multilingual and Code-Mixed Abuse Detection

Moderation systems increasingly rely on external toxicity tools, but those tools are unreliable under code-mixing, transliteration, slang, and language mismatch. We study the \emph{conditional reliability} of toxicity priors in Indian multilingual and code-mixed short text: English toxicity, Indic abuse, and rule-based severity cues can be useful evidence, but only in some linguistic and abuse-severity contexts. We propose ToxGate, a trust-fusion head that conditions each auxiliary signal on the encoder representation before adding it to the prediction state. Across three short-text abuse datasets, four transformer encoders, and five seeds per setting, ToxGate improves over matched plain encoders in 10 of 12 in-domain settings and 7 of 8 transfer settings. The largest and most interpretable gains occur in high-risk moderation slices, including explicit slurs, violent threats, and cross-dataset transfer. The broader lesson is that moderation systems should treat external toxicity tools and priors as conditional evidence rather than fixed features or ground truth, in focused ablations, source-specific gating gives the strongest results in transfer, severe-abuse slices, and high-risk triage.

한 줄 요약

ToxGate는 조건부 신뢰성을 고려한 토스 신호 융합 모듈로, 다국어 및 코드미싱 폭언 탐지 성능을 개선한다.

핵심 기여도

ToxGate는 외부 토스도구(예: Detoxify, Indic abuse, rule-based severity)를 인코더 표현에 조건부로 융합하는 신뢰도 기반 헤드를 제안.
3개의 짧은 텍스트 폭언 데이터셋, 4개 트랜스포머 인코더, 5개 시드에서 ToxGate는 12개 in-domain 설정 중 10개, 8개 transfer 설정 중 7개에서 기존 인코더 대비 성능 개선.
고위험 폭언 슬라이스(예: 명시적 욕설, 폭력적 위협)에서 가장 큰 성능 향상과 해석 가능성 확보.
외부 토스 도구를 고정된 피처가 아닌 조건부 증거로 처리해야 한다는 학습적 통찰 제시.

핵심 아이디어

기존 토스 도구는 코드미싱, 로마자 표기, 슬랭 등 다국어 환경에서 신뢰도가 낮다. 이에 ToxGate는 외부 토스 신호를 인코더 표현에 조건부로 융합하는 방식을 제안한다. 이는 각 외부 신호(예: Detoxify, Indic abuse, rule-based severity)가 텍스트 맥락에 따라 다른 신뢰도를 가져야 한다는 통찰에서 비롯된다. 예를 들어, 영어 욕설은 신뢰도가 높지만, 로마자 표기 인도어 욕설은 완전하지 않을 수 있다. ToxGate는 이러한 맥락에 따라 신호의 기여도를 조절함으로써, 모순적인 증거를 처리하고 인간 검토로의 라우팅을 개선한다.

기술적 접근법

ToxGate는 source-specific trust-fusion head로, Detoxify, Indic abusive-language, rule-based severity 세 가지 외부 신호를 별도로 프로젝션한 후, 인코더 표현에 조건부 게이트를 적용하여 융합.
게이트는 텍스트 맥락에 따라 각 외부 신호의 신뢰도를 조절.
평가 환경: 3개 짧은 텍스트 폭언 데이터셋, 4개 트랜스포머 인코더, 5개 시드.
실험 설정: in-domain 테스트, cross-dataset transfer, corruption 분석, 슬라이스, 부트스트랩 신뢰구간, 경량화된 모니터링 시뮬레이션 포함.

주요 결과

ToxGate는 3개 데이터셋, 4개 인코더, 5개 시드에서 12개 in-domain 설정 중 10개, 8개 transfer 설정 중 7개에서 기존 인코더 대비 성능 개선.
고위험 폭언 슬라이스(예: 명시적 욕설, 폭력적 위협)에서 가장 큰 성능 향상.
평균 macro-F1과 ECE(예측 불확실성)에서 ToxGate가 MLP 기반 퓨전 헤드보다 우수.
Indic source 제거 시 성능 저하, 그러나 일부 퓨전 효과는 유지됨.

의의 및 한계

ToxGate는 외부 토스 도구를 조건부 증거로 처리함으로써, 다국어 및 코드미싱 환경에서의 신뢰도 문제를 해결하는 실용적 접근법을 제시.
특히, 고위험 폭언 탐지 및 데이터셋 간 전이 설정에서의 성능 향상은 모니터링 시스템의 정확도와 해석 가능성을 동시에 개선.
한계: 특정 외부 토스 도구(예: Indic abuse)의 제거 시 성능 저하가 발생, 외부 도구의 질에 의존적. 또한, 코드미싱 외의 다국어 환경에서의 일반화 가능성은 명시되지 않음.

실용적 활용

ToxGate는 인도어-영어 코드미싱을 포함한 다국어 온라인 플랫폼(예: 소셜 미디어, 포럼)의 모니터링 시스템에 적용 가능. 특히, 고위험 폭언 탐지 및 인간 검토 라우팅을 개선하는 데 유용하며, 외부 토스 도구와의 융합 전략을 조건부로 최적화할 수 있는 기반을 제공.