Mistletoe: Stealthy Acceleration-Collapse Attacks on Speculative Decoding

Speculative decoding has become a widely adopted technique for accelerating large language model (LLM) inference by drafting multiple candidate tokens and verifying them with a target model in parallel. Its efficiency, however, critically depends on the average accepted length $\tau$, i.e., how many draft tokens survive each verification step. In this work, we identify a new mechanism-level vulnerability in model-based speculative decoding: the drafter is trained to approximate the target model distribution, but this approximation is inevitably imperfect. Such a drafter-target mismatch creates a hidden attack surface where small perturbations can preserve the target model's visible behavior while substantially reducing draft-token acceptability. We propose Mistletoe, a stealthy acceleration-collapse attack against speculative decoding. Mistletoe directly targets the acceptance mechanism of speculative decoding. It jointly optimizes a degradation objective that decreases drafter-target agreement and a semantic-preservation objective that constrains the target model's output distribution. To resolve the conflict between these objectives, we introduce a null-space projection mechanism, where degradation gradients are projected away from the local semantic-preserving direction, suppressing draft acceptance while minimizing semantic drift. Experiments on various speculative decoding systems show that Mistletoe substantially reduces average accepted length $\tau$, collapses speedup, and lowers averaged token throughput, while preserving output quality and perplexity. Our work highlights that speculative decoding introduces a mechanism-level attack surface beyond existing output robustness, calling for more robust designs of LLM acceleration systems.

📋 한 줄 요약

**[LLM 추론 보안 · 추측 디코딩]** 드래프터-타깃 불일치라는 메커니즘 수준 취약점을 이용해 출력 품질을 유지한 채 추측 디코딩 가속을 무력화하는 은밀한 공격 Mistletoe를 제안한다.

🎯 핵심 기여도

추측 디코딩에서 드래프터가 타깃 분포를 근사하지만 불가피하게 불완전하다는 점이 은닉된 공격 표면을 만든다는 메커니즘 수준 취약점을 식별
드래프터-타깃 합의를 낮추는 degradation 목표와 타깃 출력 분포를 보존하는 의미 보존 목표를 결합 최적화하는 stealthy acceleration-collapse 공격 Mistletoe 제안
두 목표 사이의 충돌을 null-space projection으로 해소해 의미 표류를 최소화하면서 채택률을 억제
다양한 추측 디코딩 시스템에서 평균 채택 길이 τ, 가속도, 평균 토큰 처리량을 크게 떨어뜨리면서 출력 품질과 perplexity는 보존

💡 핵심 아이디어

LLM 출력의 안전성/품질만 점검하는 기존 robust 평가로는 잡히지 않는, "보이는 출력은 그대로 두면서 속도 메커니즘만 무너뜨리는" 새로운 적대적 공간이 존재한다.

🔬 기술적 접근법

**모델/방법론**: 추측 디코딩의 채택 메커니즘을 표적으로 하는 적대적 공격 Mistletoe
**핵심 기법**: degradation 목표와 의미 보존 목표의 결합 최적화 + null-space projection으로 의미 보존 방향에서 떨어진 방향으로만 degradation gradient를 투영

📊 주요 결과

다양한 추측 디코딩 시스템에서 평균 채택 길이 τ 대폭 감소
speedup 붕괴 및 평균 토큰 처리량 저하
출력 품질·perplexity는 그대로 보존되어 외부 관찰자에게는 정상으로 보임

💭 의의 및 한계

**의의**: LLM 추론 가속이 출력 robustness 너머의 새로운 적대적 표면을 가짐을 드러내며, 보다 강건한 가속 시스템 설계의 필요성을 환기한다. **한계**: 공격 자체가 제안되었으므로 방어 메커니즘은 후속 과제로 남으며, 본 논문이 직접 광범위한 방어책을 제시하지는 않는다.

🚀 실용적 활용

LLM 추론 서비스의 가속 메커니즘에 대한 보안 평가
추측 디코딩 채택률 모니터링·이상 탐지 시스템 설계
드래프터-타깃 정합성에 대한 강건한 학습/검증 절차 도입