Token Time Continuous Diffusion for Language Modeling

In this paper we introduce token time continuous diffusion (TTCD), a new diffusion language model which (a) operates in continuous space, deterministically mapping Gaussian noise to a final token canvas with no further sampling, and crucially (b) incorporates a new notion of per-token times, with some tokens proceeding from noise to token at a faster rate than others. Continuous space modeling helps TTCD avoid the parallel sampling of multiple tokens, which is a key source of inaccuracy at high speedups for models that iterate purely in discrete space. The notion of per-token times helps TTCD to better model conditional generation, allows for more sure tokens to proceed at a faster rate, and allows for differentiated inter-token influences during refinement. TTCD outperforms discrete models at high speedups. We train a 160M parameter TTCD model on OpenWebText, and then self-distill it; we find that at high speedups we are comparable in unconditional generation quality, and outperform in conditional generation, several existing models of similar size trained, on the same data, and self-distilled. We achieve similar gains in Sudoku solving as well.

한 줄 요약

TTCD는 토큰별 시간 개념을 도입한 연속 확산 언어 모델로, 빠른 속도에서도 생성 성능을 유지한다.

핵심 기여도

토큰 시간(TTCD) 개념을 도입하여, 일부 토큰이 다른 토큰보다 빠르게 노이즈에서 토큰으로 전환 가능.
연속 공간 확산을 통해 병렬 토큰 샘플링을 제거함으로써 높은 속도 증가에서도 정확도 유지.
160M 파라미터 모델을 OpenWebText에서 학습 및 셀프-디스틸링 후, 빠른 속도에서도 조건부 생성에서 기존 모델을 초과.
수수도(Sudoku) 해결에서도 유사한 성능 향상 관찰.

핵심 아이디어

TTCD는 기존의 이산 공간 확산 모델이 병렬 샘플링으로 인해 발생하는 정확도 저하 문제를 해결하기 위해 연속 공간에서 확산을 수행한다. 이는 가우시안 노이즈를 결정적으로 최종 토큰 캔버스로 매핑함으로써 추가 샘플링 없이 생성 가능하게 한다. 또한, 각 토큰에 개별적인 시간 개념을 도입하여, 확신 있는 토큰은 빠르게 생성되도록 유도하고, 토큰 간 상호작용을 구분하여 정제 과정에서의 영향력을 조절한다. 이는 조건부 생성에서 특히 유리하며, 확산 과정의 유연성을 높인다.

기술적 접근법

**TTCD 모델**: 연속 공간 확산을 기반으로, 병렬 샘플링 없이 토큰 생성.
**Per-token time**: 각 토큰에 개별 시간을 할당하여, 확신 높은 토큰은 빠르게 생성.
**160M 파라미터 모델**: OpenWebText 데이터셋에서 학습 후 셀프-디스틸링 적용.
**비교 대상**: 동일 데이터셋과 크기의 기존 모델과 비교.

주요 결과

OpenWebText 데이터셋에서 높은 속도 증가에서도 **무조건 생성**(unconditional generation) 품질은 기존 모델과 유사.
**조건부 생성**(conditional generation)에서는 기존 모델 대비 **성능 향상** 관찰.
**수수도**(Sudoku) 해결에서도 유사한 성능 개선.

의의 및 한계

TTCD는 빠른 속도에서도 생성 정확도를 유지하는 새로운 확산 기반 언어 모델로, 특히 조건부 생성 상황에서 기존 이산 모델을 능가한다. 연속 공간 확산과 토큰별 시간 개념은 확산 모델의 유연성과 효율성을 동시에 향상시키는 중요한 기술적 발전이다. 다만, 모델의 복잡성 증가로 인한 추론 비용 증가나, 특정 태스크에서의 일반화 능력은 추가 연구가 필요하다.

실용적 활용

TTCD는 빠른 속도와 높은 생성 정확도를 요구하는 대화형 AI, 실시간 번역, 게임 내 자연어 생성 등 다양한 산업 분야에서 활용 가능하다. 특히, 조건부 생성이 중요한 의료, 법률 분야의 자연어 처리에도 적용 가능하다.