GradSentry: Gradient Spectral Entropy for Backdoor Sample Filtering in Large Language Model Fine-Tuning

Fine-tuning Large Language Models with untrusted data exposes models to backdoor attacks, where poisoned samples cause targeted misbehavior. Existing sample-filtering defenses rely on clustering, which requires sufficient data and can fail at extreme poison ratios. We propose GradSentry ({Grad}ient {Sentry}), a backdoor sample filtering method based on the spectral entropy of per-sample gradients. Our key finding is that poisoned samples produce gradients with higher spectral entropy compared to clean samples. GradSentry captures output-altering backdoor signatures using per-sample gradient spectra, avoiding pairwise sample comparisons and clustering during feature construction. Importantly, our method is training-agnostic: it works for both parameter-efficient fine-tuning methods like LoRA and full-parameter tuning, as the gradient analysis operates independently of which parameters are being updated during training. GradSentry requires no clustering, operates effectively across all poison ratios (1%--90%), and introduces minimal computational overhead (20-50ms per sample for 7B model). Evaluation on four QA datasets and four attack types demonstrates the effectiveness of spectral entropy for backdoor detection. Code is available at https://github.com/dongdongzhaoUP/GradSentry.

📋 한 줄 요약

**[Backdoor Defense / LLM Fine-Tuning]** GradSentry가 per-sample gradient의 spectral entropy로 poisoned 샘플을 필터링 — 클러스터링 없이 1~90% poison ratio 전 영역에서 작동, LoRA·full-tuning 모두 호환·7B 모델에서 20~50ms/sample overhead.

🎯 핵심 기여도

LLM을 untrusted data로 fine-tuning할 때 backdoor attack에 노출되며 poisoned 샘플이 targeted misbehavior를 유발하는 위협을 진단.
기존 sample-filtering defense가 clustering에 의존해 충분한 데이터 필요·극단적 poison ratio에서 실패함을 한계로 지적.
GradSentry 제안 — per-sample gradient의 spectral entropy 기반 backdoor sample filtering 방법.
Poisoned 샘플이 clean 샘플 대비 higher spectral entropy의 gradient를 생성한다는 핵심 발견을 활용해 pairwise comparison·clustering 없이 output-altering backdoor signature 캡처.

💡 핵심 아이디어

Backdoor 샘플 탐지는 데이터 분포 clustering이 아니라 per-sample gradient의 spectral entropy라는 model-internal 신호로 가능하며, 이는 어떤 parameter가 업데이트되는지와 독립적이어서 LoRA·full-tuning 모두에 training-agnostic으로 적용된다.

🔬 기술적 접근법

**방법론**: GradSentry — per-sample gradient spectrum의 entropy 분석.
**핵심 기법**: (1) 각 샘플별 gradient의 spectral decomposition, (2) Spectrum entropy 계산으로 poisoned vs clean 구분, (3) Clustering·pairwise comparison 제거, (4) Training-agnostic: LoRA·full-parameter tuning 모두 동일 적용, (5) 7B 모델에서 20~50ms/sample의 minimal overhead 유지.

📊 주요 결과

4 QA 데이터셋·4 attack type에서 spectral entropy의 backdoor detection 효과 입증.
1~90%의 모든 poison ratio에서 effective하게 동작.
7B 모델 기준 20~50ms/sample의 minimal computational overhead.
Code: github.com/dongdongzhaoUP/GradSentry.

💭 의의 및 한계

**의의**: LLM fine-tuning의 backdoor defense에 clustering-free·training-agnostic 신호 도입, extreme poison ratio까지 robust, parameter-efficient·full-tuning 양 환경 호환의 실용성. **한계**: gradient 계산 필요로 train-time defense에 한정, spectral entropy threshold의 도메인 의존성, 새로운 stealthy attack에 대한 robustness는 후속 검증.

🚀 실용적 활용

안전한 LLM fine-tuning 파이프라인.
Untrusted 데이터셋 사전 필터링.
LoRA·QLoRA 등 PEFT 환경의 보안 강화.