Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

We introduce Nemotron-Labs-Diffusion, a tri-mode language model (LM) that unifies AR, diffusion, and self-speculation decoding within a single architecture. Trained with a joint AR-diffusion objective, Nemotron-Labs-Diffusion can switch modes to sustain high throughput across deployment settings and concurrency levels. Our study shows that (1) AR and diffusion objectives are complementary: diffusion improves lookahead planning, while AR provides left-to-right linguistic priors. (2) In self-speculation mode, diffusion drafts while AR verifies, outperforming multi-token prediction (MTP) methods in both acceptance rate and real-device efficiency. (3) A speed-of-light analysis further demonstrates diffusion's long-term potential, with up to 76.5% more tokens per forward pass than self-speculation under an optimal sampler. Scaling to 3B, 8B, and 14B parameters, our Nemotron-Labs-Diffusion family, including base, instruct, and vision-language models, consistently outperforms state-of-the-art open-source AR and diffusion LMs in both accuracy and speed. For example, Nemotron-Labs-Diffusion-8B decodes 6x more tokens per forward than Qwen3-8B with comparable accuracy, translating to 4x higher throughput on SPEED-Bench with SGLang on a GB200 GPU.

한 줄 요약

Nemotron-Labs-Diffusion은 자동회귀, 확산, 자기추론 세 가지 디코딩 모드를 통합한 다중 모드 언어 모델로, 8B 버전에서 Qwen3-8B 대비 6배 더 많은 토큰을 한 번에 처리한다.

핵심 기여도

자동회귀(AR)와 확산 디코딩을 결합한 **joint AR-diffusion objective**를 제안.
**Self-speculation 모드**에서 확산이 다중 토큰을 생성하고 AR이 검증하는 방식으로, MTP 대비 더 높은 수용률과 효율성을 보임.
**Speed-of-light 분석**에서 최적 샘플러를 사용할 경우 확산 디코딩이 self-speculation 대비 76.5% 더 많은 토큰을 처리 가능함을 밝힘.
3B, 8B, 14B 파라미터 규모의 Nemotron-Labs-Diffusion 모델이 기존 AR 및 확산 모델을 정확도와 속도 측면에서 모두 초과함.

핵심 아이디어

기존 자동회귀 언어 모델은 토큰을 순차적으로 생성하기 때문에 병렬 처리가 어려워지고, 확산 모델은 병렬성은 높지만 정확도가 낮아진다. Nemotron-Labs-Diffusion은 이 두 접근법을 **단일 아키텍처 내에서 결합**함으로써 이 단점을 극복한다. 핵심 아이디어는 다음과 같다:

1. **AR과 확산 목표가 상호보완적이라는 통찰**: 확산은 미래 토큰의 계획(lookahead planning)을 향상시키고, AR은 자연어의 왼쪽-오른쪽 순서성을 유지하는 강력한 언어 사전 정보(left-to-right linguistic priors)를 제공한다.
2. **Self-speculation 모드**: 확산이 다중 토큰을 생성하고, AR이 검증하는 방식으로, 기존 MTP 방법 대비 더 높은 수용률과 실질적인 장치 효율성을 달성한다.
3. **Speed-of-light 분석**: 최적 샘플러를 사용할 경우 확산 디코딩이 self-speculation 대비 76.5% 더 많은 토큰을 처리할 수 있다는 점을 통해 확산 디코딩의 장기적 잠재력을 입증한다.

기술적 접근법

**모델 아키텍처**: 단일 아키텍처 내에서 AR, 확산, self-speculation 세 가지 디코딩 모드를 지원.
**훈련 전략**:
**Global loss-averaging**: 배치 내 모든 토큰을 동등하게 처리하여 최적화 안정성 향상.
**Two-stage training**: 첫 단계에서 AR로 강력한 언어 사전 정보를 학습하고, 두 번째 단계에서 확산과 AR을 결합하여 훈련.
**모듈**:
**Block-wise attention**: 확산 모델의 기반으로 사용.
**DP-rank varying masking ratios**: 데이터 병렬 랭크별로 다른 노이즈 수준 적용.
**AR loss 추가**: 확산 디코딩 능력을 크게 향상.
**파라미터 규모**: 3B, 8B, 14B 버전 제공.
**하드웨어**: GB200 GPU 기반의 SGLang을 사용한 성능 평가.

주요 결과

**SPEED-Bench**에서 Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 4배 높은 처리량(throughput)을 달성.
**각 토큰 당 forward pass 수**: Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 6배 더 많은 토큰을 한 번에 처리.
**Speed-of-light 분석**: 최적 샘플러를 사용할 경우 확산 디코딩이 self-speculation 대비 76.5% 더 많은 토큰을 처리.
**정확도**: 일반 벤치마크에서 Qwen3-8B와 유사하거나 더 높은 성능 보임.

의의 및 한계

Nemotron-Labs-Diffusion은 AR과 확산 모델의 장점을 결합하여, 다양한 배포 환경에서 높은 처리량과 정확도를 동시에 달성할 수 있는 새로운 패러다임을 제시한다. 특히, **self-speculation 모드**는 기존 MTP 방법 대비 더 높은 수용률과 효율성을 보이며, 확산 모델의 실용성을 높이는 데 기여한다. 또한, **speed-of-light 분석**은 확산 디코딩의 장기적 잠재력을 입증하며, 샘플러 개선을 통한 성능 향상 가능성을 제시한다.

하지만, **확산 모드에서 토큰 샘플링**이 여전히 어려운 문제로 남아 있으며, 최적 샘플러 구현이 필요하다는 한계가 있다. 또한, **AR과 확산의 균형**을 유지하는 것이 모델 훈련의 핵심이므로, 이에 대한 추가 연구가 필요하다.

실용적 활용

Nemotron-Labs-Diffusion은 저병렬(low-concurrency) 환경에서는 self-speculation 모드, 고병렬(high-concurrency) 환경에서는 AR 모드를 활용하여, **서버less 인프라, 모바일 기기, 대규모 클라우드 배포** 등 다양한 상황에서 높은 처리량을 유지할 수 있다. 특히, **실시간 대화형 서비스**나 **대규모 추론 작업**에서 유용하게 활용될 수 있다.