LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models

Diffusion language models (dLLMs) offer an alternative to autoregressive (AR) language modeling, yet the scaling behavior of Mixture-of-Experts (MoE) dLLMs remains poorly understood. We systematically characterize how optimization hyperparameters, compute allocation, and architecture scale for MoE dLLMs, identifying quantitative differences from scaling trends previously reported for AR models. Specifically, for optimization, the optimal nominal batch size grows faster, while the optimal learning rate decays more rapidly with compute. For model--data allocation, IsoFLOP analysis reveals a slight data-side tilt: the optimal token budget grows faster than activated model-side computation. For MoE architecture, larger scales increasingly favor larger expert pools at fixed activated capacity, while moderate expert granularity remains consistently effective and the preferred fraction of activated capacity assigned to shared experts remains stable across scales. Guided by these findings, we train LLaDA MoE v2, a 30B-A3B dLLM, from scratch on 23.5T tokens. With approximately 65\% as many pretraining tokens as Qwen3, LLaDA MoE v2 approaches Qwen3 on several knowledge, reasoning, and coding benchmarks. After supervised fine-tuning alone, it outperforms SDAR Chat on seven of eight reasoning and coding benchmarks and remains close to Qwen3 on several tasks. These results establish practical scaling laws and design principles for MoE dLLMs.

한 줄 요약

LLaDA MoE v2는 23.5T 토큰으로 학습된 30B-A3B 확산 언어 모델로, Qwen3와 유사한 성능을 65% 적은 토큰으로 달성한다.

핵심 기여도

**최적 배치 크기**는 컴퓨팅 자원이 증가함에 따라 더 빠르게 증가하고, **최적 학습률**은 컴퓨팅 자원에 따라 더 빠르게 감소함을 밝힘.
**IsoFLOP 분석**을 통해 토큰 예산이 모델 측 계산보다 더 빠르게 증가함을 확인.
**MoE 아키텍처**에서 전문가 풀 크기는 고정된 활성화 용량에서 더 큰 규모일수록 유리하며, 중간 수준의 전문가 세분화가 일관되게 효과적임.
23.5T 토큰으로 학습된 **LLaDA MoE v2**는 Qwen3와 유사한 성능을 65% 적은 토큰으로 달성.

핵심 아이디어

기존 연구는 대부분 확률적 언어 모델(Autoregressive, AR)에 초점을 맞췄으나, 확산 언어 모델(dLLM)의 경우, 특히 MoE 아키텍처에서의 확장성은 명확하지 않았다. 본 연구는 MoE dLLM의 최적화 하이퍼파라미터, 컴퓨팅-데이터 할당, 아키텍처의 확장성을 체계적으로 분석한다. 핵심 통찰은 다음과 같다:

dLLM의 최적 배치 크기와 학습률은 AR 모델과 달리 컴퓨팅 자원에 따라 다른 방식으로 변화한다.
IsoFLOP 분석을 통해 토큰 예산이 모델 측 계산보다 빠르게 증가함을 밝힘.
MoE 아키텍처에서 전문가 풀 크기와 전문가 세분화는 확장성에 중요한 역할을 하며, 공유 전문가 비율은 규모에 따라 안정적임.

이러한 통찰은 LLaDA MoE v2의 설계에 직접적으로 적용되어 성능 향상에 기여함.

기술적 접근법

**모델 아키텍처**: 30B-A3B 크기의 MoE dLLM.
**학습 데이터**: 23.5T 토큰으로부터 학습.
**최적화**: 최적 배치 크기와 학습률은 컴퓨팅 자원에 따라 조정됨.
**모델-데이터 할당**: IsoFLOP 분석을 통해 토큰 예산이 모델 측 계산보다 빠르게 증가함을 확인.
**MoE 설계**: 전문가 풀 크기는 고정된 활성화 용량에서 더 큰 규모일수록 유리하며, 중간 수준의 전문가 세분화가 효과적임.
**활성화 전용량**: 공유 전문가 비율은 규모에 따라 안정적임.

주요 결과

**LLaDA MoE v2**는 Qwen3 30B-A3B와 유사한 성능을 65% 적은 토큰으로 달성.
**감독 미세조정(SFT)**만으로도 SDAR Chat 30B-A3B를 8개 중 7개의 추론 및 코딩 벤치마크에서 초과.
Qwen3와 비교해 일부 벤치마크에서 유사한 성능 유지.
기존 MoE dLLM에 비해 훨씬 적은 컴퓨팅 자원으로 동일 수준 성능 달성.

의의 및 한계

본 연구는 MoE dLLM의 확장성과 설계 원칙을 체계적으로 정립하여, 실제 대규모 모델 학습에 실용적인 가이드를 제공.
LLaDA MoE v2는 기존 AR 기반 모델과 비교해 토큰 효율성을 증명하며, 확산 모델의 잠재력을 입증.
한계로는 확장 차원을 독립적으로 분석했기 때문에, 차원 간 상호작용은 고려되지 않았음.
추가적인 연구가 필요하며, 특히 RL 기반의 최종 튜닝 효과는 평가되지 않았음.

실용적 활용

LLaDA MoE v2는 대규모 텍스트 생성, 추론, 코드 생성 등 다양한 NLP 작업에 적용 가능.
특히, 토큰 효율성과 추론 성능을 고려할 때, 컴퓨팅 자원이 제한된 환경에서 유용.
또한, 기존 AR 모델 대체로도 가능하며, 병렬 처리가 가능한 확산 기반 모델의 장점을 활용할 수 있음.