Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

We present Visual AutoRegressive modeling (VAR), a new generation paradigm that redefines the autoregressive learning on images as coarse-to-fine"next-scale prediction"or"next-resolution prediction", diverging from the standard raster-scan"next-token prediction". This simple, intuitive methodology allows autoregressive (AR) transformers to learn visual distributions fast and generalize well: VAR, for the first time, makes GPT-like AR models surpass diffusion transformers in image generation. On ImageNet 256x256 benchmark, VAR significantly improve AR baseline by improving Frechet inception distance (FID) from 18.65 to 1.73, inception score (IS) from 80.4 to 350.2, with around 20x faster inference speed. It is also empirically verified that VAR outperforms the Diffusion Transformer (DiT) in multiple dimensions including image quality, inference speed, data efficiency, and scalability. Scaling up VAR models exhibits clear power-law scaling laws similar to those observed in LLMs, with linear correlation coefficients near -0.998 as solid evidence. VAR further showcases zero-shot generalization ability in downstream tasks including image in-painting, out-painting, and editing. These results suggest VAR has initially emulated the two important properties of LLMs: Scaling Laws and zero-shot task generalization. We have released all models and codes to promote the exploration of AR/VAR models for visual generation and unified learning.

한 줄 요약

Visual AutoRegressive (VAR) 모델은 이미지 생성에서 확률적 확장법과 제로샷 일반화를 달성한 새로운 AR 프레임워크이다.

핵심 기여도

**VAR 모델**이 GPT-스타일 AR 모델로, **Diffusion Transformer (DiT)**를 초과하여 **이미지 생성 성능**을 향상시킴.
**ImageNet 256x256**에서 FID 18.65 → 1.80, IS 80.4 → 356.4, **20× 빠른 추론 속도** 달성.
**VAR 모델 확장** 시 **-0.998의 선형 상관계수**를 보이는 **스케일링 법칙**을 관찰.
**이미지 인-페인팅, 아웃-페인팅, 편집** 등에서 **제로샷 일반화 능력**을 보임.

핵심 아이디어

기존 AR 모델은 1D 토큰 시퀀스를 기반으로 "next-token prediction"을 수행하지만, VAR은 **이미지를 다중 스케일 토큰 맵으로 인코딩**하고, **1×1 토큰 맵부터 점진적으로 해상도를 확장하는 "next-scale prediction"** 방식을 도입했다. 이는 인간이 이미지를 인식하는 계층적 방식을 모방한 것으로, **GPT-2 스타일 트랜스포머 아키텍처**를 활용하여 **시각적 분포 학습**을 효율적으로 수행할 수 있다. 이 접근법은 **이미지 생성 과정에서 전역 구조부터 세부 사항까지 순차적으로 생성**함으로써, 기존 AR 모델의 한계를 극복한다.

기술적 접근법

**VAR 모델**은 **GPT-2 스타일 트랜스포머**를 사용하며, **다중 스케일 토큰 맵**을 생성해 **next-scale prediction** 방식으로 이미지를 생성.
**VQ 토크나이저**를 통해 이미지를 2D 토큰으로 변환한 후, 1×1 토큰 맵부터 시작하여 점진적으로 해상도를 확장.
**AdaLN**, **top-k 샘플링**, **classifier-free guidance (CFG, ratio 2.0)** 등의 구성 요소를 도입해 성능 향상.
**2.0B 파라미터 규모의 모델**을 확장하여 **FID 1.80** 달성.
**ImageNet 256x256** 데이터셋에서 평가.

주요 결과

**ImageNet 256x256**에서 VAR은 AR 기반 모델 대비 **FID 18.65 → 1.80 (16.85 개선)**, **IS 80.4 → 356.4 (276.0 개선)**, **추론 속도 20× 빠름**.
**Diffusion Transformer (DiT)** 대비 **FID, IS, 데이터 효율성, 추론 속도, 확장성**에서 우수함.
**2.0B 파라미터 모델**에서 **-0.998의 선형 상관계수**를 보이는 **스케일링 법칙** 관찰.
**제로샷 일반화**를 통해 **이미지 인-페인팅, 아웃-페인팅, 편집** 등에서 성능 유지.

의의 및 한계

VAR은 **이미지 생성 분야에서 AR 모델의 성능 한계를 돌파**하며, **LLM의 두 가지 핵심 특성**(스케일링 법칙, 제로샷 일반화)을 처음으로 시각 모델에 적용한 사례로 주목받는다. 또한, **GPT-스타일 AR 모델이 확산 모델을 초과**하는 것은 이 분야에서 **전례 없는 성과**이다. 하지만, **다양한 도메인에서의 일반화 가능성**이나 **실시간 생성 시의 메모리 효율성** 등은 아직 명시되지 않았으며, **더 큰 규모의 모델 확장** 시의 안정성도 추가 연구가 필요하다.

실용적 활용

VAR은 **고품질 이미지 생성**, **실시간 이미지 편집**, **다중 스케일 이미지 생성** 등에 적용 가능하며, **컴퓨터 비전과 NLP의 통합 학습**(unified learning)을 위한 기반 기술로 활용될 수 있다. 특히, **제로샷 일반화 능력**은 **사전 학습 없이도 다양한 이미지 생성 작업**을 수행하는 데 유용하다.