Contextual Correction of Parallel Draftsfor Speculative Decoding

Speculative decoding accelerates large language model inference by using a lightweight drafter to propose multiple tokens that are subsequently verified in parallel by the target model. Recent diffusion-based drafters make this paradigm particularly attractive: deep attention-based neural backbones provide strong predictions, while drafting multiple future positions in parallel avoids the sequential cost of autoregressive generation. This parallelism, however, comes at a cost. Tokens within a draft block are predicted without access to the realized identities of preceding draft tokens, removing intra-block dependencies that would naturally be available under autoregressive generation. We introduce DCOCO (DFlash Contextual Corrector), a lightweight mechanism that restores these dependencies while preserving parallel drafting. Rather than committing to each position's top prediction, DCOCO retains multiple candidate tokens and evaluates their contextual compatibility across adjacent draft positions in parallel, enabling contextually informed token selection at low additional cost. Across four verifier backbones and ten benchmarks, DCOCO achieves the highest average throughput in every evaluated configuration, spanning greedy and stochastic decoding with and without extended reasoning, with speedups of up to 6.6x over vanilla decoding. Its advantage persists under concurrent serving: DCOCO outperforms the strongest competing method by 6-23% across 4-32 concurrent requests, while other sequential correctors fall below uncorrected DFlash at these loads. These results demonstrate that recovering intra-block dependencies through parallel contextual scoring delivers consistent acceleration across decoding regimes and serving loads.

한 줄 요약

DCOCO는 병렬적으로 생성된 토큰 블록의 내부 의존성을 복원하여 추론 속도를 6.6×까지 향상시키는 경량 정정 모듈이다.

핵심 기여도

DCOCO는 병렬 블록 생성(DFlash)에서 내부 의존성을 복원하면서 추가적인 순차 처리 없이 정정을 수행한다.
4개의 검증기 백본과 10개 벤치마크에서 평균 처리량이 기존 방법 대비 최대 18% 개선됨.
병렬 정정을 통해 1~32개의 동시 요청에서도 처리량이 DFlash 대비 19~25% 높아짐.
최초의 prefix-first 그리디 선택 규칙을 제안하여 추측 검증 구조에 맞춘 토큰 선택을 가능하게 함.

핵심 아이디어

기존 병렬 블록 생성 방식(DFlash)은 토큰을 순차적으로 생성하지 않기 때문에, 블록 내 토큰 간 의존성을 잃게 된다. 이로 인해 개별적으로 유망한 토큰이더라도 전체적으로 일관되지 못해 검증 수용률이 낮아진다. DCOCO는 이 문제를 해결하기 위해, 블록 내 토큰 간 문맥적 호환성을 병렬적으로 평가하는 정정 메커니즘을 도입한다.

구체적으로, DCOCO는 각 위치에서 상위 K개 후보를 유지한 후, 이들 후보 간의 전이(transition)를 병렬적으로 점수를 매기고, 그리디하게 최적의 경로를 선택한다. 이는 추가적인 드래프트 모델의 순방향 패스 없이 이루어지며, 순차적 정정 모듈(DSpark, Domino 등)과 달리 정정 비용이 낮다.

추가적으로, DCOCO는 추측 검증의 prefix-first 구조를 반영한 그리디 선택 규칙을 도입하여, 앞쪽 토큰의 정확도를 우선시함으로써 전체 블록의 수용률을 높인다. 이는 기존 방법들이 전체 블록의 점수를 최대화하는 방식과 구별된다.

기술적 접근법

**모듈명**: DCOCO (DFlash Contextual Corrector)
**입력**: DFlash의 단일 블록 패스에서 생성된 후보 토큰들 (각 위치당 최대 16개 후보)
**정정 과정**:
후보 간 전이(transition)를 병렬적으로 점수 매기기 (K²개의 전이 점수 계산)
그리디한 prefix-first 선택: 앞쪽 토큰부터 순차적으로 최고 점수 후보 선택
**추가 비용**: 드래프트 모델의 추가 순방향 패스 없이, 경량 신경망 점수기 사용
**하이퍼파라미터**: K=16 (Qwen3-8B 기준, 상위 16개 후보 유지)

주요 결과

**GSM8K, MATH-500 등 10개 벤치마크**에서 DCOCO는 기존 추측 디코딩 기반 최고 성능 대비 최대 18% 개선됨.
**DFlash 대비 최대 6.6× 속도 향상**을 기록하며, 병렬 정정의 효과가 명확함.
**4~32개의 동시 요청** 상황에서도 DCOCO는 경쟁 모델 대비 6~23% 높은 처리량을 유지.
**Qwen3-8B 기준**, 상위 16개 후보 중 검증기의 정답이 포함된 경우는 59%로, 후보 재선택이 효과적임을 보여줌.

의의 및 한계

DCOCO는 병렬 블록 생성의 한계를 보완하면서도 추가적인 순차 처리 없이 정정을 수행함으로써, 추측 디코딩의 성능과 확장성을 동시에 향상시킨다. 특히, 병렬 정정을 통해 높은 처리량을 유지하면서도, 추측 검증의 prefix-first 구조에 맞춘 그리디 선택 규칙을 도입함으로써, 기존 방법들이 무시했던 토큰 순서의 중요성을 반영하였다.

한계로는, DCOCO는 DFlash와 같은 병렬 드래프트 모델에만 적용 가능하며, 순차적 드래프트 모델에는 적용이 어려움. 또한, 후보 수(K)가 증가할 경우 전이 점수 계산량(K²)이 급격히 증가하여, 메모리 및 계산 비용에 영향을 줄 수 있다.

실용적 활용

DCOCO는 대규모 언어 모델의 추론 속도를 향상시키는 데 유용하며, 특히 실시간 멀티요청 처리가 필요한 챗봇, 코드 생성, 수학 문제 풀이 등 다양한 분야에서 활용 가능하다. 병렬 정정을 통해 높은 처리량을 유지하면서도, 토큰 일관성을 개선함으로써 사용자 경험을 향상시킬 수 있다.