WavTokenizer: an Efficient Acoustic Discrete Codec Tokenizer for Audio Language Modeling

Language models have been effectively applied to modeling natural signals, such as images, video, speech, and audio. A crucial component of these models is the codec tokenizer, which compresses high-dimensional natural signals into lower-dimensional discrete tokens. In this paper, we introduce WavTokenizer, which offers several advantages over previous SOTA acoustic codec models in the audio domain: 1)extreme compression. By compressing the layers of quantizers and the temporal dimension of the discrete codec, one-second audio of 24kHz sampling rate requires only a single quantizer with 40 or 75 tokens. 2)improved subjective quality. Despite the reduced number of tokens, WavTokenizer achieves state-of-the-art reconstruction quality with outstanding UTMOS scores and inherently contains richer semantic information. Specifically, we achieve these results by designing a broader VQ space, extended contextual windows, and improved attention networks, as well as introducing a powerful multi-scale discriminator and an inverse Fourier transform structure. We conducted extensive reconstruction experiments in the domains of speech, audio, and music. WavTokenizer exhibited strong performance across various objective and subjective metrics compared to state-of-the-art models. We also tested semantic information, VQ utilization, and adaptability to generative models. Comprehensive ablation studies confirm the necessity of each module in WavTokenizer. The related code, demos, and pre-trained models are available at https://github.com/jishengpeng/WavTokenizer.

한 줄 요약

WavTokenizer는 24kHz 음성을 초당 40~75개의 토큰으로 압축하면서 뛰어난 재구성 품질과 의미 정보를 유지하는 디스크리트 오디오 코덱 모델이다.

핵심 기여도

초당 24kHz 오디오를 단일 퀀티자로 40 또는 75개의 토큰으로 압축 (기존 모델 대비 압축률 향상).
UTMOS 점수 기준, 기존 SOTA 모델 대비 주관적 재구성 품질 향상.
확장된 VQ 공간, 다중 스케일 디스크리미네이터, 역 푸리에 변환 디코더를 도입하여 의미 정보를 풍부하게 함.
단일 퀀티자 구조로 다중 퀀티자 모델 대비 생성 모델과의 호환성 향상.

핵심 아이디어

WavTokenizer는 기존의 다중 퀀티자 기반 코덱 모델과 달리, 단일 퀀티자로 오디오를 압축하면서도 높은 재구성 품질과 의미 정보를 유지하는 것이 핵심이다. 이는 기존의 RVQ(RVQ) 구조가 다운스트림 모델에 복잡한 구조를 요구하는 반면, 단일 퀀티자 구조는 생성 모델과의 직접적 통합이 용이하다는 점에서 차별화된다. 또한, VQ 공간을 확장하고 K-means 클러스터링 초기화 및 랜덤 깨우기 전략을 도입함으로써 코드북 활용률을 높이며, 역 푸리에 변환 기반 디코더와 다중 스케일 디스크리미네이터를 통해 고주파 성분의 정확한 재구성을 가능하게 한다. 이러한 접근은 기존 코덱 모델의 재구성 패러다임을 벗어나, 생성 모델과의 일관된 이해-생성 프로세스를 가능하게 한다는 점에서 혁신적이다.

기술적 접근법

**단일 퀀티자 구조**: 기존의 다중 퀀티자 대신 단일 퀀티자로 오디오를 압축.
**확장된 VQ 공간**: 코드북 크기를 1024에서 4096으로 확장하여 코드북 활용률 향상.
**역 푸리에 변환 디코더**: 고주파 성분의 정확한 재구성을 위해 디코더에 역 푸리에 변환 구조를 도입.
**다중 스케일 디스크리미네이터 (MSTFTD)**: 재구성 품질 향상을 위해 STFT를 서브밴드로 분할하여 학습.
**확장된 컨텍스트 윈도우**: 3초 길이의 컨텍스트 윈도우를 사용하여 의미 정보를 풍부하게 함.
**주의력 모듈 (Attention Module)**: 디코더에 주의력 메커니즘을 추가하여 의미 정보와 재구성 품질을 균형 있게 유지.

주요 결과

**LibriTTS 데이터셋**에서 WavTokenizer는 75 토큰/초로 기존 SOTA 모델 대비 UTMOS 점수 0.55 증가, PESQ 0.6 증가, STOI 0.5 증가를 기록.
**단일 퀀티자**로 40 또는 75 토큰/초로 압축하면서도 뛰어난 재구성 품질 유지.
**코드북 크기 4096**으로 확장 시, 코드북 활용률 향상과 함께 재구성 품질 향상 관찰.
**3초 컨텍스트 윈도우** 사용 시, 재구성 품질이 1초 윈도우 대비 향상됨.

의의 및 한계

WavTokenizer는 기존 코덱 모델의 다중 퀀티자 구조를 단일 퀀티자로 대체함으로써 생성 모델과의 호환성을 높이고, 코드북 활용률을 향상시키는 데 성공했다. 특히, UTMOS, PESQ, STOI 등 주요 지표에서 기존 SOTA 모델 대비 우수한 성능을 보이며, 오디오 생성 및 다중 모달 모델 통합에 유용한 기반을 제공한다. 그러나, 코드북 크기를 16384 이상으로 확장하면 코드북 활용률이 감소하는 한계가 있으며, 이는 향후 연구 주제로 제시된다. 또한, 다중 스케일 디스크리미네이터는 훈련 시간 증가를 초래하므로, 효율적인 훈련 전략 개발이 필요하다.

실용적 활용

WavTokenizer는 대규모 언어 모델과의 통합이 용이한 단일 퀀티자 구조를 가지므로, 멀티모달 생성 모델, 음성-텍스트 변환, 음악 생성 등 다양한 응용 분야에서 활용 가능하다. 특히, 코드북 활용률과 재구성 품질을 고려할 때, 실시간 오디오 처리 및 저자원 환경에서도 효과적으로 사용될 수 있다.