DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation

Speculative decoding accelerates Large Language Model (LLM) inference by decoupling draft generation from target verification. While recent parallel drafters efficiently propose long token sequences in a single forward pass, they suffer from rapid acceptance decay due to a lack of inter-token dependencies. Furthermore, indiscriminately verifying these extended blocks wastes critical batch capacity on tokens with high rejection risks, severely degrading throughput in high-concurrency serving systems. We introduce DSpark, a speculative decoding framework that unifies high-throughput parallel generation with adaptive, load-aware verification. To maintain draft quality, DSpark utilizes a semi-autoregressive architecture, coupling a parallel backbone with a lightweight sequential module, to introduce intra-block dependency modeling and mitigate suffix decay. To optimize system efficiency, DSpark employs confidence-scheduled verification, dynamically tailoring the verification length for each request based on estimated prefix survival probabilities and engine-specific throughput profiles. On offline benchmarks across diverse domains, DSpark substantially improves the accepted length over state-of-the-art autoregressive and parallel drafters. When deployed within the DeepSeek-V4 serving system under live user traffic, DSpark successfully mitigates verification waste. Compared to the established production baseline (MTP-1), DSpark accelerates per-user generation speeds by 60 to 85 percent at matched throughput levels. More importantly, by preventing severe throughput degradation under strict interactivity constraints, it enables performance tiers that were previously unattainable, shifting the Pareto frontier of our serving system.

한 줄 요약

DSpark은 고성능 추론과 적응적 검증을 결합한 신뢰도 기반 추측 디코딩 프레임워크로, DeepSeek-V4에서 사용자당 생성 속도를 60~85% 향상시킨다.

핵심 기여도

**반자율적 생성**(Semi-Autoregressive Generation)을 도입하여 병렬 생성 모델의 후행 토큰 수명 감소 문제를 완화.
**신뢰도 기반 검증**(Confidence-Scheduled Verification)을 통해 각 요청에 맞춤형 검증 길이를 동적으로 조절.
Qwen3-4B, 8B, 14B 타겟 모델에서 Eagle3 대비 26.7~30.9%, DFlash 대비 16.3~18.4%의 평균 수용 길이 향상.
DeepSeek-V4에서 MTP-1 대비 60~85%의 사용자당 생성 속도 향상.

핵심 아이디어

DSpark은 병렬 생성 모델의 빠른 속도와 자율적 생성 모델의 일관성을 결합한 반자율적 아키텍처를 제안한다. 병렬 백본은 대부분의 생성 작업을 처리하며, 가벼운 순차적 헤드가 토큰 간 의존성을 주입하여 후행 토큰 수명 감소(스위프트 디케이)를 완화한다. 이는 병렬 모델의 빠른 속도를 유지하면서도 자율적 모델의 일관성을 보존한다.

또한, DSpark은 각 토큰 위치의 수용 확률을 추정하는 **신뢰도 헤드**(confidence head)와 하드웨어 정보를 반영한 **스케줄러**(scheduler)를 결합하여, 각 요청에 맞춤형 검증 길이를 동적으로 조절한다. 이는 낮은 신뢰도의 토큰 검증을 줄여 시스템 효율성을 향상시키며, 특히 고부하 시 성능 저하를 방지한다.

기술적 접근법

**반자율적 생성**(Semi-Autoregressive Generation): 병렬 백본 + 가벼운 순차적 헤드.
**신뢰도 기반 검증**(Confidence-Scheduled Verification): 신뢰도 헤드 + 하드웨어 인식 스케줄러.
**하이퍼파라미터**: 검증 길이는 요청별로 동적으로 조정, 병렬 생성 길이(γ)는 고정.
**모델**: Qwen3-4B, 8B, 14B 타겟 모델 사용.
**데이터셋**: GSM8K, MATH500, AIME25, MBPP, HumanEval, Live-CodeBench, MT-Bench, Alpaca, Arena-Hard.

주요 결과

Qwen3-4B, 8B, 14B 타겟 모델에서 Eagle3 대비 평균 수용 길이가 각각 30.9%, 26.7%, 30.0% 향상.
DFlash 대비 평균 수용 길이가 각각 16.3%, 18.4%, 18.3% 향상.
DeepSeek-V4-Flash에서 MTP-1 대비 사용자당 생성 속도 60~85% 향상.
DeepSeek-V4-Pro에서 MTP-1 대비 사용자당 생성 속도 57~78% 향상.
120 TPS (Flash), 50 TPS (Pro) SLA 하에서 기존 시스템 대비 검증 오버헤드 30~40% 감소.

의의 및 한계

DSpark은 병렬 생성 모델의 빠른 속도와 자율적 생성 모델의 일관성을 결합하여, 고성능 추론과 일관된 품질을 동시에 달성한다. 특히, 고부하 시 검증 오버헤드를 줄여 시스템 전체 처리량을 유지하며, 엄격한 인터랙티비티 요구사항을 충족하는 새로운 성능 계층을 가능하게 한다.

그러나 DSpark은 신뢰도 헤드의 정확도에 크게 의존하며, 훈련 데이터의 품질과 범위에 따라 성능이 변동할 수 있다. 또한, 하드웨어 인식 스케줄러는 특정 서버 환경에 최적화되어 있어, 다른 플랫폼으로 이식 시 추가 조정이 필요할 수 있다.

실용적 활용

DSpark은 실시간 대화형 어시스턴트, 멀티턴 에이전트 워크플로우, 코드 생성 등 지연에 민감한 LLM 서비스에 적용 가능하다. 특히, DeepSeek-V4와 같은 대규모 모델 서빙 시스템에서 사용자 경험 향상과 서버 리소스 효율성을 동시에 달성할 수 있다.