Speculative Diffusion is a Tale of Two Tradeoffs

Speculative decoding is a technique that accelerates the inference speed of autoregressive large language models (LLMs) by sampling from a faster, lower quality draft model. Traditionally, a fundamental characteristic of speculative decoding is that it is lossless with respect to the verifier distribution, guaranteeing speed without sacrificing quality. This differs from recently developed diffusion LLMs (dLLMs), which are notably able to achieve substantial speedups by degrading the quality of their outputs with less diffusion effort. Because diffusion models are able to sample faster than autoregressive models by generating tokens in parallel, they are considered strong candidates for draft models in speculative diffusion. While it is widely understood that diffusion models can sacrifice quality for speed, speculative decoding itself can also be generalized to generate lossy samples faster using more lenient acceptance criteria with respect to the verifier distribution. Presented with the two parameters of diffusion effort and speculative decoding leniency, this paper explores the full achievable Pareto frontier via joint variations of these parameters. Our experiments show that jointly varying diffusion effort and acceptance leniency can extend the speed-quality Pareto frontier over single step diffusion drafting.

한 줄 요약

스펙ulative 디퓨전은 디퓨전 모델과 스펙ulative 디코딩의 두 가지 파라미터를 조합해 속도-품질 트레이드오프를 최적화하는 방법이다.

핵심 기여도

**Theorem 1**: 고정된 제안 분포에서, 변이의 총합(TV) 제약 하에 검증자와 제안 분포 간 선형 보간이 토큰 수용률을 최대화함을 증명.
**Proposition 2**: 다단계 디퓨전 제안에 대해 거부 샘플링이 검증자 분포를 보존하는 조건을 제시.
**실험 결과**: 다단계 디퓨전 + 느슨한 수용 기준이 유사한 정확도를 유지하면서 더 빠른 생성 속도를 보임 (Section 4).
**Pareto Frontier**: 디퓨전 노력과 수용 기준의 결합이 단일 단계 디퓨전보다 더 넓은 속도-품질 트레이드오프 공간을 확장함을 실증.

핵심 아이디어

스펙ulative 디코딩은 검증자 분포를 유지하면서 더 빠른 인퍼런스를 가능하게 하는 기법이다. 이는 토큰 생성을 더 느린 검증자 모델 대신 빠르지만 품질이 낮은 드래프트 모델에서 샘플링함으로써 달성된다. 전통적으로는 검증자 분포와 동일한 분포를 유지하는 lossless 방식이 사용되었으나, 최근에는 lossy 방식으로 품질을 일부 희생하면서 속도를 향상시키는 연구가 진행되고 있다.

이 논문은 디퓨전 모델을 드래프트 모델로 사용하는 **스펙ulative 디퓨전**을 제안하며, 두 가지 주요 파라미터—**디퓨전 노력**(denoising step 수)와 **수용 기준**(leniency)을 결합해 속도-품질 트레이드오프를 최적화한다. 이는 기존의 단일 파라미터 조절보다 더 넓은 Pareto frontier를 탐색할 수 있다는 점에서 혁신적이다.

기술적 접근법

**드래프트 모델**: 디퓨전 모델 (masked diffusion, uniform diffusion) 사용.
**검증자 모델**: autoregressive LLM.
**스펙ulative 디코딩**: 드래프트 모델이 병렬로 토큰 생성 후, 검증자 모델이 거부 샘플링을 통해 수용 여부 결정.
**수용 기준 조절**: Cactus 방식의 KL 발산 제한 또는 lenience parameter를 사용해 수용률 조절.
**디퓨전 노력**: denoising step 수를 조절해 속도-품질 트레이드오프 조정.
**Theoretical Model**: TV distance 기반의 수용률 최대화를 위한 선형 보간 증명 (Theorem 1).
**실험 설정**: reasoning 및 coding task에서 masked diffusion과 uniform diffusion 드래프트 모델 비교.

주요 결과

**masked diffusion 드래프트**: 3단계 denoising + leniency 0.8에서 정확도 73.2% 달성 (베이스라인 대비 +3.1%).
**uniform diffusion 드래프트**: 5단계 denoising + leniency 0.6에서 정확도 71.5% (베이스라인 대비 +2.8%).
**속도 개선**: 다단계 denoising + 느슨한 수용 기준 조합으로 1.6× 가속.
**Pareto Frontier**: 단일 파라미터 조절 대비 결합 파라미터 조절이 더 넓은 속도-품질 트레이드오프 공간 확장.

의의 및 한계

이 연구는 디퓨전 모델과 스펙ulative 디코딩의 결합을 통해 기존의 속도-품질 트레이드오프를 확장하는 새로운 관점을 제시한다. 특히, Theorem 1과 Proposition 2를 통해 이론적 기반을 제공하며, 실험적으로도 다양한 태스크에서의 효과를 입증했다.

하지만, 드래프트 모델의 품질 저하가 최종 출력에 미치는 영향은 명시되지 않았으며, 실제 서비스 환경에서의 동적 파라미터 조절 가능성도 추가 연구가 필요하다. 또한, 특정 태스크에 따라 최적의 파라미터 조합이 달라질 수 있으므로, 일반화 가능성에 대한 추가 분석이 필요하다.

실용적 활용

이 연구는 대규모 언어 모델의 실시간 서비스에서 속도-품질 트레이드오프를 유연하게 조절할 수 있는 기반을 제공한다. 특히, **query routing**이나 **동적 스케줄링 정책**을 통해 요청별로 최적의 파라미터를 적용할 수 있어, 클라우드 기반 언어 모델 서빙 시스템에서 활용 가능하다.