Autoregressive Image Generation without Vector Quantization

Conventional wisdom holds that autoregressive models for image generation are typically accompanied by vector-quantized tokens. We observe that while a discrete-valued space can facilitate representing a categorical distribution, it is not a necessity for autoregressive modeling. In this work, we propose to model the per-token probability distribution using a diffusion procedure, which allows us to apply autoregressive models in a continuous-valued space. Rather than using categorical cross-entropy loss, we define a Diffusion Loss function to model the per-token probability. This approach eliminates the need for discrete-valued tokenizers. We evaluate its effectiveness across a wide range of cases, including standard autoregressive models and generalized masked autoregressive (MAR) variants. By removing vector quantization, our image generator achieves strong results while enjoying the speed advantage of sequence modeling. We hope this work will motivate the use of autoregressive generation in other continuous-valued domains and applications. Code is available at: https://github.com/LTH14/mar.

한 줄 요약

이미지 생성에서 벡터 쿼언티제이션 없이 확산 손실을 기반으로 오토회귀 모델을 적용한 새로운 접근법을 제안한다.

핵심 기여도

벡터 쿼언티제이션 없이 오토회귀 이미지 생성 가능
확산 기반 확률 분포 모델링을 통해 **Diffusion Loss** 정의
**MAR 모델**과 **Diffusion Loss**를 결합하여 **0.3초/이미지**, **FID 1.55** 달성
기존 벡터 쿼언티제이션 토크나이저의 한계를 극복

핵심 아이디어

기존 오토회귀 모델은 이미지를 이산 토큰 공간에서 생성하기 위해 벡터 쿼언티제이션(VQ)을 의존했으나, 본 연구는 이산 공간이 필수적이지 않다는 점을 지적한다. 대신, 각 토큰의 확률 분포를 **확산 프로세스**로 모델링하고, 이를 기반으로 **Diffusion Loss**를 정의함으로써, **이산 토크나이저 없이 연속 공간에서 오토회귀 생성이 가능하다**는 새로운 통찰을 제시한다. 이는 토큰 z에 대해 조건부 확률 p(x|z)를 확산 네트워크로 모델링하고, 이를 통해 토큰별 확률 분포를 학습하는 방식이다.

기술적 접근법

**Diffusion Loss**: 확산 프로세스를 통해 토큰별 확률 분포를 모델링
**연속 토크나이저**: VQ-VAE와 달리 이산 토크나이저를 사용하지 않음
**Masked Autoregressive (MAR) 모델**: 여러 토큰을 랜덤 순서로 생성하면서도 오토회귀 구조 유지
**Denoising Network**: 각 토큰 z에 대해 조건부 확률 p(x|z)를 학습하는 소형 MLP
**ImageNet 256×256 데이터셋**에서 실험 수행

주요 결과

**ImageNet 256×256**에서 **FID 1.55** 달성 (기존 베이스라인 대비 개선)
**0.3초/이미지**의 생성 속도
**Diffusion Loss**는 **AR 및 MAR 모델** 모두에서 일관된 성능 향상
벡터 쿼언티제이션 없이도 높은 품질의 이미지 생성 가능

의의 및 한계

본 연구는 오토회귀 모델이 이산 공간에 제한되지 않고, **연속 공간에서도 효과적으로 작동할 수 있음을 입증**하며, 기존 VQ 토크나이저의 복잡성과 제한성을 극복한다. 특히, **확산 기반 확률 모델링**과 **오토회귀 구조**를 결합한 새로운 프레임워크는 이미지 생성뿐 아니라 다른 연속 공간 문제에도 적용 가능하다는 점에서 학술적·실용적 가치가 있다. 다만, **확산 네트워크의 복잡도**나 **토크나이저의 선택에 따른 성능 변동**은 추가 연구가 필요한 한계점이다.

실용적 활용

이 연구는 고속 이미지 생성, 비이산 토크나이징 기반의 생성 모델, 그리고 연속 공간에서의 오토회귀 모델링이 필요한 연구 분야에서 활용 가능하다. 특히, **VQ-VAE 기반 토크나이저의 대체 솔루션**으로서 산업 현장에서의 빠른 이미지 생성 시스템 개발에 기여할 수 있다.