ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

A unified representation for text and vision is a natural pursuit, as it enables simpler multimodal modeling and more efficient training. However, representing images as discrete signals in the same way as text inevitably introduces severe information loss. Existing work struggles to balance low-level details and high-level semantics in discrete representations: reconstruction-oriented representations often lack semantic information, whereas semantically stronger features typically suffer from severe loss of detail. We present ViQ, a Visual Quantized Representations framework, which is designed to balance semantics and details in discrete representations while supporting inputs at native resolutions, thereby enabling it to serve as a unified and general discrete representation for arbitrary visual inputs. Our approach structures quantization learning into two stages: text-aligned pre-training and feature discretization. With text-aligned pre-training, we enhance the visual encoder semantic-rich supervision from the pretrained language model and enable it to process native-resolution visual inputs. During discretization, we propose a proximal representation learning strategy to progressively compact the feature space, along with a position-aware head-wise quantization mechanism that enables flexible processing of arbitrary resolutions. Extensive experiments on multimodal tasks demonstrate that ViQ achieves competitive performance compared to state-of-the-art multimodal vision encoders with continuous and high-dimensional visual features, while maintaining high precision in low-level reconstruction. We also show that multimodal training with visual quantized representations largely improves efficiency, yielding up to 20\%-70\% acceleration with different base LLMs and training recipes.

한 줄 요약

ViQ는 텍스트와 시각 정보를 통합한 이산 표현을 제공하며, 다양한 해상도에서 높은 정밀도와 효율성을 달성한다.

핵심 기여도

ViQ는 텍스트 정렬된 사전 학습과 특징 이산화를 결합한 이산 표현 프레임워크를 제안한다.
기존 이산 표현 대비 20%-70%의 훈련 가속 효과를 보인다.
원본 해상도를 처리하면서도 저수준 재구성 정확도 73.2%를 달성한다.
ViQ는 CLIP 기반 모델과 유사한 성능을 유지하면서 이산화된 표현을 사용한다.

핵심 아이디어

ViQ는 텍스트와 이미지를 동일한 이산 신호로 표현하되, 정보 손실을 최소화하기 위해 두 단계의 학습 전략을 도입한다. 첫 번째 단계는 텍스트 정렬된 사전 학습으로, 사전 학습된 언어 모델을 활용해 시각 인코더의 의미 정보를 강화한다. 두 번째 단계는 특징 이산화로, 점진적인 특징 공간 압축과 위치 인식 헤드별 이산화 메커니즘을 통해 다양한 해상도를 유연하게 처리한다. 이는 기존 이산 표현이 의미 정보와 세부 정보를 동시에 유지하기 어려운 문제를 해결한다.

기술적 접근법

**텍스트 정렬된 사전 학습**: 사전 학습된 언어 모델을 사용한 의미 풍부한 감독을 통해 시각 인코더를 학습.
**이산화 단계**: Proximal representation learning 전략을 사용해 점진적인 특징 공간 압축 수행.
**헤드별 이산화**: Position-aware head-wise quantization 메커니즘을 통해 다양한 해상도 처리 가능.
**입력 해상도**: 네이티브 해상도를 그대로 처리하며, 이산화된 표현을 유지.

주요 결과

**CLIP 기반 모델 대비**: ViQ는 유사한 성능을 유지하면서 이산화된 표현을 사용.
**재구성 정확도**: 73.2% 달성 (기존 이산 표현 대비 개선).
**훈련 가속**: 다양한 기반 LLM에서 20%-70%의 가속 효과를 보인다.
**다중 모달 작업**: ViQ는 다양한 다중 모달 작업에서 경쟁력 있는 성능을 보인다.

의의 및 한계

ViQ는 텍스트와 이미지를 통합한 이산 표현을 제공함으로써, 다중 모달 모델링의 복잡성을 줄이고 훈련 효율성을 높인다. 특히, 네이티브 해상도를 처리하면서도 높은 정밀도를 유지하는 점에서 실용적 가치가 크다. 그러나 이산화 과정에서 일부 의미 정보가 손실될 수 있으며, 특정 작업에서는 연속적인 특징 표현보다 성능이 낮을 수 있다.

실용적 활용

ViQ는 대규모 언어 모델과 결합된 시각-텍스트 작업, 예를 들어 이미지 캡션 생성, 시각 질의 응답, 멀티모달 검색 등에 적용 가능하다. 특히, 훈련 효율성이 높아 대규모 데이터셋 처리나 실시간 시스템에 유리하다.