Large Language Diffusion Models

The capabilities of large language models (LLMs) are widely regarded as relying on autoregressive models (ARMs). We challenge this notion by introducing LLaDA, a diffusion model trained from scratch under the pre-training and supervised fine-tuning (SFT) paradigm. LLaDA employs a forward data masking process and a reverse generation process, parameterized by a Transformer to predict masked tokens. It provides a principled generative approach for probabilistic inference by optimizing a likelihood lower bound. Across extensive benchmarks on general tasks, math, code, and so on, LLaDA demonstrates strong scalability and performs comparably to our self-constructed ARM baselines. Remarkably, LLaDA 8B is competitive with strong LLMs like LLaMA3 8B in in-context learning and, after SFT, exhibits impressive instruction-following abilities in case studies such as multi-turn dialogue. Moreover, LLaDA addresses the reversal curse, surpassing GPT-4o in a reversal poem completion task. Our findings show the promise of diffusion models for language modeling at scale and challenge the common assumption that core LLM capabilities discussed above inherently depend on ARMs. Project page and codes: https://ml-gsai.github.io/LLaDA-demo/.

한 줄 요약

LLaDA는 확률적 추론을 위한 확산 모델 기반 대규모 언어 모델로, 기존 자동회귀 모델과 유사한 성능을 보인다.

핵심 기여도

LLaDA는 2.3조 토큰의 데이터로 0.13만 H800 GPU 시간을 사용해 8B 파라미터 모델을 학습시킴.
MMLU, GSM8K 등 6개 태스크에서 기존 자동회귀 모델 기반 베이스라인과 유사한 성능 달성.
LLaDA 8B는 LLaMA3 8B와 유사한 in-context 학습 성능을 보임.
GPT-4o보다 역시시(逆詩) 완성 태스크에서 우수한 역추론 능력 보임.

핵심 아이디어

LLaDA는 기존 자동회귀 모델(ARM)이 아닌 확산 모델 기반으로 대규모 언어 모델을 구축한 사례이다. 이는 언어 모델의 핵심 능력이 자동회귀 구조에 의존하지 않음을 시사한다. LLaDA는 forward masking 과정과 reverse generation 과정을 통해 토큰 분포를 모델링하며, Transformer 기반의 mask predictor를 사용해 마스킹된 토큰을 예측한다. 이는 확률적 추론을 위한 likelihood lower bound 최적화를 가능하게 한다. 기존 ARM은 토큰을 순차적으로 생성하는 방식으로 인해 계산 비용이 높고, 역추론 능력이 제한적이지만, LLaDA는 양방향 의존성을 활용해 이러한 문제를 완화한다.

기술적 접근법

**모델 구조**: LLaDA는 masked diffusion model (MDM)을 기반으로 하며, forward masking 과정에서 랜덤하게 토큰을 마스킹하고, reverse 과정에서 이를 복원하는 방식을 사용.
**학습 파이프라인**: 데이터 준비 → pre-training → supervised fine-tuning (SFT) → 평가.
**학습 규모**: 2.3조 토큰의 데이터로 8B 파라미터 모델을 0.13만 H800 GPU 시간 동안 학습.
**SFT 데이터**: 450만 개의 페어 데이터로 fine-tuning 수행.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**MMLU**: LLaDA 8B는 기존 ARM 기반 베이스라인과 유사한 성능을 보임.
**GSM8K**: 6개 태스크에서 ARM 기반 모델과 동일한 수준의 정확도 달성.
**In-context learning**: LLaDA 8B는 LLaMA3 8B와 유사한 성능을 보임.
**역시시 완성**: GPT-4o보다 높은 정확도로 역추론 능력 우수함.
**Multi-turn dialogue**: SFT 후 명확한 지시사항을 따르는 능력 향상.

의의 및 한계

LLaDA는 확산 모델이 대규모 언어 모델링에 효과적임을 입증하며, 기존 자동회귀 모델에 대한 의존성을 줄이는 새로운 접근법을 제시한다. 특히, 양방향 모델링과 역추론 능력 향상은 기존 LLM의 한계를 극복하는 데 기여한다. 그러나 LLaDA는 ARM 기반 모델과 동일한 규모로 확장되지 못했으며, 추론 시 하이퍼파라미터에 민감한 문제가 있다. 또한, 강화 학습 기반 정렬(alignment)이 적용되지 않았고, 멀티모달 데이터 처리 가능성은 아직 검증되지 않았다.

실용적 활용

LLaDA는 대규모 언어 생성, 코드 생성, 다중 턴 대화 시스템 등에서 활용 가능하다. 특히, 역추론이 필요한 창의적 작업(예: 시 창작, 논리적 역추론)에서 기존 모델보다 우수한 성능을 기대할 수 있다.