Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

Discrete visual tokens represent vision in a discrete form analogous to language, offering a native interface for multimodal modeling under a shared next-token prediction objective. However, quantization error is widely assumed to cause unavoidable semantic loss, fundamentally limiting the semantic fidelity of discrete visual tokens and positioning continuous visual representations as an intrinsic upper bound. Using multimodal understanding as a proxy for semantic fidelity, we revisit this assumption and find quantization error unreliable, as discrete representations with substantially larger errors can achieve better understanding. Instead, the effective bit budget of discrete indices emerges as a key determinant of downstream performance. However, existing quantizers eventually saturate as additional codebooks contribute progressively less semantic information. As one approach to alleviating this saturation, we introduce Factorized Vector Quantization, which quantizes complementary, fixed-dimensional views of the visual feature with symmetric parallel codebooks. It continues to improve at larger bit budgets, ultimately matching continuous visual representations in multimodal understanding. Trained on industrial-scale multimodal data, our model achieves state-of-the-art performance among discrete-representation models, outperforming UniAR and Emu3-Chat by 22.8% and 59.2%, respectively, on a nine-metric average. To our knowledge, it is also the first discrete-representation model competitive with strong continuous-representation models such as Qwen3-VL, including on fine-grained OCR tasks. We further identify the key principles and a practical recipe enabling this competitiveness. These results and insights support the potential of discrete visual representations to underpin large-scale native multimodal foundation models. Code and models are available at https://github.com/hustvl/FVQ

한 줄 요약

이 연구는 이산 시각 토큰이 시각 신호의 의미적 손실 없이 표현 가능한지 탐구하며, Factorized Vector Quantization(FVQ)를 제안해 기존 이론을 재정의한다.

핵심 기여도

이산 시각 토큰의 의미적 정확도는 **정량화 오류**가 아닌 **유효 비트 예산**에 의해 결정됨을 입증.
**Factorized Vector Quantization (FVQ)**를 제안, 기존 이중/다중 코드북 양자화 방식의 **스케일링 한계**를 극복.
**9개 메트릭 평균 기준**, UniAR 대비 22.8%, Emu3-Chat 대비 59.2% 성능 개선.
**OCR 및 문서 이해**에서 Qwen3-VL과 유사한 성능 달성, 이산 표현 모델 최초 사례.

핵심 아이디어

이 연구는 이산 시각 토큰이 의미적으로 완전한 표현이 될 수 있는지에 대한 기존 가정을 재검토한다. 기존 연구에서는 **정량화 오류**가 의미 손실을 일으킨다고 가정했으나, 본 연구는 **다중 코드북의 비트 예산**이 더 중요한 요소임을 밝혔다. 이는 디지털 시스템에서 시각 신호가 이미 이산적이라는 기본 원리에서 출발한다.

기존 **Residual Vector Quantization (RVQ)** 및 **Product Quantization (PQ)**는 코드북 수가 늘어날수록 의미 정보가 줄어들어 **스케일링 한계**를 보인다. 이를 해결하기 위해, FVQ는 **동일한 고정 차원의 시각 특성을 병렬 코드북으로 양자화**하여, **보완적인 뷰**를 유지함으로써 의미 정보를 지속적으로 확장한다. 이는 **비트 예산 증가에 따른 성능 향상**을 가능하게 한다.

기술적 접근법

**Factorized Vector Quantization (FVQ)**: 시각 특성을 고정 차원의 복수 뷰로 분할하고, **대칭 병렬 코드북**을 사용해 각 뷰를 독립적으로 양자화.
**16-codebook FVQ**를 Qwen3 ViT에 적용한 **이미지 토크나이저** 구축.
**1D RoPE**를 사용해 언어 모델의 **next-token prediction** 구조 유지.
**Qwen3-8B**와 결합한 모델로 **산업 규모의 multimodal 데이터** 학습.

주요 결과

**9개 메트릭 평균 기준**, UniAR 대비 22.8%, Emu3-Chat 대비 59.2% 성능 개선.
**OCR 및 문서 이해**에서 Qwen3-VL과 유사한 성능 달성, 이산 표현 모델 최초 사례.
**RVQ 및 PQ**는 코드북 증가에 따라 성능 향상이 포화되지만, **FVQ는 비트 예산 증가에 따라 지속적으로 성능 향상**.
**이산 표현**이 **연속 표현**과 동등한 **다중 모달 이해**를 달성함.

의의 및 한계

이 연구는 이산 시각 토큰이 의미적으로 완전한 표현이 될 수 있음을 입증하며, **대규모 네이티브 멀티모달 모델**의 기초가 될 잠재력을 제시한다. 특히, **FVQ**는 기존 양자화 방법의 한계를 극복하고, **비트 예산을 효율적으로 확장**할 수 있는 새로운 접근법을 제시한다.

그러나, **FVQ의 병렬 코드북 구조**는 계산 비용 증가를 동반할 수 있으며, **실시간 응용**에서는 성능-효율 균형이 필요하다는 한계가 있다. 또한, **이산 표현의 일반화 능력**은 다양한 도메인에서 추가 실험을 통해 검증되어야 한다.

실용적 활용

이 연구는 멀티모달 AI 모델에서 **이미지-텍스트 통합 인터페이스**를 구축하는 데 기여할 수 있다. 특히, **OCR, 문서 이해, 이미지 생성** 등에서 이산 토큰 기반 모델이 **연속 표현 모델과 경쟁할 수 있는 성능**을 보인 점은, **산업 현장에서의 대규모 모델 배포**에 실용적 의미를 가진다.