UniTok: A Unified Tokenizer for Visual Generation and Understanding

Visual generative and understanding models typically rely on distinct tokenizers to process images, presenting a key challenge for unifying them within a single framework. Recent studies attempt to address this by connecting the training of VQVAE (for autoregressive generation) and CLIP (for understanding) to build a unified tokenizer. However, directly combining these training objectives has been observed to cause severe loss conflicts. In this paper, we show that reconstruction and semantic supervision do not inherently conflict. Instead, the underlying bottleneck stems from limited representational capacity of discrete token space. Building on these insights, we introduce UniTok, a unified tokenizer featuring a novel multi-codebook quantization mechanism that effectively scales up the vocabulary size and bottleneck dimension. In terms of final performance, UniTok sets a new record of 0.38 rFID and 78.6% zero-shot accuracy on ImageNet. Besides, UniTok can be seamlessly integrated into MLLMs to unlock native visual generation capability, without compromising the understanding performance. Additionally, we show that UniTok favors cfg-free generation, reducing gFID from 14.6 to 2.5 on ImageNet 256$\times$256 benchmark. GitHub: https://github.com/FoundationVision/UniTok.

한 줄 요약

UniTok은 VQVAE와 CLIP을 통합한 새로운 토크나이저로, 0.38 rFID와 78.6% zero-shot 정확도를 달성하며, gFID 14.6 → 2.5로 생성 성능을 향상시킴.

핵심 기여도

**다중 코드북 양자화**(multi-codebook quantization)를 도입하여 토크나이저의 표현 용량을 확장.
**rFID 0.38**, **zero-shot 정확도 78.6%** (ImageNet 256×256) 기록.
**cfg-free 생성**에서 gFID 14.6 → 2.5로 대폭 개선.
MLLM에 통합 시 VQAv2 +5.5%, TextVQA +9.2% 성능 향상.

핵심 아이디어

기존 연구는 VQVAE(생성)와 CLIP(이해)를 결합하여 통합 토크나이저를 시도했으나, **목표 간 충돌**(loss conflict)로 인해 성능 저하가 발생했다. 그러나 본 연구는 **재구성**(reconstruction)과 **세마틱**(semantic) 감독이 본질적으로 충돌하지 않음을 밝혔으며, 주요 문제는 **이산 토큰 공간의 표현 용량 부족**에 있음을 지적했다. 이를 해결하기 위해 **다중 코드북 양자화**(multi-codebook quantization)를 도입하여, 코드북 수에 따라 지수적으로 증가하는 어휘 크기와 병목 차원을 확장했다. 또한, **어텐션 기반 토큰 팩터라이제이션**(attention-based token factorization)을 도입해 훈련 안정성과 이해 성능을 개선했다.

기술적 접근법

**Multi-codebook quantization**: 토큰을 여러 작은 코드북으로 분할하여, 전체 어휘 크기를 지수적으로 확장.
**Attention-based token factorization**: 전통적 선형 투영 대신 어텐션 모듈을 사용해 훈련 안정성 향상.
**VQVAE + CLIP 통합 훈련**: 재구성 손실과 CLIP의 대비 손실을 결합.
**DataComp-1B 128M 데이터셋** 사용.
**하이퍼파라미터**: 코드북 크기 32768, 병목 차원 64.

주요 결과

**ImageNet 256×256**에서 rFID 0.38, zero-shot 정확도 78.6%.
**cfg-free 생성**에서 gFID 14.6 → 2.5 (LlamaGen 프레임워크).
MLLM 통합 시 VQAv2 +5.5%, TextVQA +9.2%, MME +339점 향상.
**Residual Quantization**(RQ) 대비 Multi-codebook Quantization(MCQ)가 재구성 및 분류 성능에서 우수.

의의 및 한계

UniTok은 **이산 토큰 공간의 표현 제한**을 극복한 첫 통합 토크나이저로, 생성과 이해를 모두 지원하는 MLLM 구축에 기여한다. 특히, **cfg-free 생성** 성능 향상은 생성 모델의 복잡성을 줄이는 데 유의미하다. 그러나, **코드북 수 증가에 따른 계산 비용 증가**는 실용적 적용 시 한계로 작용할 수 있다. 또한, CLIP 초기화 방식에 따라 성능이 달라지는 현상은 추가 연구가 필요하다.

실용적 활용

UniTok은 **MLLM**(Multimodal Large Language Model)에 통합되어, 이미지 생성 및 이해를 동시에 수행하는 **다중 모달 인터페이스**에 활용 가능하다. 특히, **이미지 편집**, **시각적 인-컨텍스트 학습**, **클래스-조건 생성** 등에서 높은 유연성과 성능을 제공한다.