Studying Image Tokenizers as Visual Languages in Unified Multimodal Models

Image tokenizers define the ``visual language'' of unified multimodal models, yet are commonly studied through isolated metrics or generation-/understanding-only evaluations. These evaluations do not fully capture how visual tokens behave when modeled jointly with text. We build a controlled pure-autoregressive testbed and track task-specific validation losses during multimodal continual pretraining across text, image, text-to-image (T2I), and image-to-text (I2T) prediction. We examine how these losses scale and relate to downstream performance, then use them to study multimodal learnability---how well image and text tokens are jointly modeled---and tokenizer design. We find that (1) losses should be analyzed by task, since they exhibit distinct scaling behavior and rank tokenizers differently. (2) The loss--performance relationship depends on the predicted token space: for a fixed tokenizer, T2I and I2T losses correlate with generation quality, but across tokenizers, the T2I loss--performance relationship shifts with the image-token space, whereas I2T loss, computed over a shared text vocabulary, provides a more consistent signal. I2T loss also correlates with both generation and visual understanding performance after supervised finetuning. Using losses as a lens, we show that (3) better reconstruction does not necessarily yield lower task-specific losses or stronger downstream performance, and that (4) image tokenizer choice can affect text modeling under joint optimization. As case studies, we revisit three tokenizer design axes---the discriminator, semantic supervision, and vocabulary size---to examine their effects on joint modeling and downstream performance. Together, our testbed offers a complementary perspective on image tokenizers as visual languages, highlighting their interplay with text in joint multimodal training.

한 줄 요약

이미지 토크나이저가 통합 멀티모달 모델에서 어떻게 텍스트와 상호작용하는지, 손실 기반 실험을 통해 분석한다.

핵심 기여도

T2I 및 I2T 손실이 각각 생성 및 이해 성능과 다른 방식으로 상관관계를 보임.
I2T 손실은 공유된 텍스트 어휘 기반으로 토크나이저 간 일관된 신호를 제공함.
재구성 정확도가 높다고 반드시 다중모달 학습 성능이 향상되지 않음.
토크나이저 선택이 텍스트 모델링에 영향을 미칠 수 있음.

핵심 아이디어

이미지 토크나이저는 통합 멀티모달 모델에서 "시각 언어"를 정의하지만, 기존 연구는 토크나이저를 단일 작업이나 생성/이해 중심 평가만으로 분석하는 경향이 있다. 본 연구는 텍스트, 이미지, T2I, I2T 예측을 포함한 통합 손실 추적을 통해 토크나이저의 다중모달 학습 가능성과 상호작용을 분석한다. 특히, T2I 손실은 생성 품질과 상관관계가 있지만, 토크나이저 간 비교 시 시각 토큰 공간에 따라 성능 관계가 달라지는 반면, I2T 손실은 공유된 텍스트 어휘 기반으로 일관된 신호를 제공한다는 점이 핵심 통찰이다. 이는 토크나이저가 텍스트와 어떻게 상호작용하는지를 이해하는 데 중요한 단서를 제공한다.

기술적 접근법

**모델**: Qwen3 언어 모델을 기반으로, 텍스트와 이미지 토큰을 통합하는 순수 자동회귀(pure-autoregressive) 멀티모달 모델을 사용.
**토크나이저**: VQGAN 기반, 단일 코드북 구조를 가진 토크나이저를 사용.
**손실 추적**: T2I, I2T, 텍스트, 이미지 예측 작업별 손실을 추적.
**하이퍼파라미터**: 입력 해상도 256×256, 이미지 토큰 수 16×16, 코드북 크기 B는 IBQ 토크나이저 가족에서 조정.
**추가 실험**: 디스크리미네이터 종류(DINO vs. PatchGAN), 세미틱 감독 유무, 코드북 크기 변화에 따른 영향을 분석.

주요 결과

**T2I 손실**: 고정된 토크나이저에서 생성 품질과 상관관계가 있음.
**I2T 손실**: 텍스트 어휘 기반으로 토크나이저 간 일관된 신호를 제공하며, 생성 및 VQA 성능과 상관관계 있음.
**토크나이저 비교**: GigaTok-DINO는 재구성 정확도는 높지만, VQAv2 성능은 감소함.
**코드북 크기**: 다중모달 학습 가능성과 비단조적 관계를 보임.
**세미틱 감독**: 객체 수준의 토큰-단어 연관성을 강화하지만, 재구성 정확도는 낮아짐.

의의 및 한계

본 연구는 토크나이저가 단순한 전처리 모듈이 아닌, 통합 멀티모달 모델에서 텍스트와 상호작용하는 "시각 언어"로서의 역할을 강조한다. 특히, I2T 손실은 토크나이저 간 비교 시 유용한 진단 지표로 제시된다. 그러나 본 연구는 토크나이저의 재구성 정확도와 다중모달 학습 가능성 간의 차이를 명확히 보여주며, 기존 평가 지표(예: rFID, ImageNet 정확도)가 통합 학습 성능을 반영하지 못한다는 한계를 드러낸다. 또한, 해상도와 토큰 수를 고정한 실험으로 인해, 다양한 입력 조건에서의 일반화 가능성은 제한적이다.

실용적 활용

이 연구는 멀티모달 생성 모델(예: 텍스트-이미지 생성, 이미지 설명 생성)에서 토크나이저 설계에 있어 재구성 정확도뿐만 아니라 다중모달 학습 가능성과의 균형을 고려해야 함을 시사한다. 특히, I2T 손실을 진단 지표로 활용하면 토크나이저 선택 시 텍스트-이미지 일관성을 보다 효과적으로 평가할 수 있다. 이는 이미지-텍스트 번역, 시각 질의 응답(VQA) 등 다양한 멀티모달 응용 분야에 적용 가능하다.