NaturalSpeech 3: Zero-Shot Speech Synthesis with Factorized Codec and Diffusion Models

While recent large-scale text-to-speech (TTS) models have achieved significant progress, they still fall short in speech quality, similarity, and prosody. Considering speech intricately encompasses various attributes (e.g., content, prosody, timbre, and acoustic details) that pose significant challenges for generation, a natural idea is to factorize speech into individual subspaces representing different attributes and generate them individually. Motivated by it, we propose NaturalSpeech 3, a TTS system with novel factorized diffusion models to generate natural speech in a zero-shot way. Specifically, 1) we design a neural codec with factorized vector quantization (FVQ) to disentangle speech waveform into subspaces of content, prosody, timbre, and acoustic details; 2) we propose a factorized diffusion model to generate attributes in each subspace following its corresponding prompt. With this factorization design, NaturalSpeech 3 can effectively and efficiently model intricate speech with disentangled subspaces in a divide-and-conquer way. Experiments show that NaturalSpeech 3 outperforms the state-of-the-art TTS systems on quality, similarity, prosody, and intelligibility, and achieves on-par quality with human recordings. Furthermore, we achieve better performance by scaling to 1B parameters and 200K hours of training data.

한 줄 요약

NaturalSpeech 3는 FVQ와 factorized diffusion 모델을 결합해 zero-shot 환경에서 자연스러운 음성을 생성하는 TTS 시스템이다.

핵심 기여도

FACodec라는 FVQ 기반 신경 음성 코덱을 설계하여 음성 파형을 콘텐츠, 프로도시, 팀브레, 음향 세부사항으로 분리.
각 속성 공간에서 생성을 수행하는 factorized diffusion 모델을 제안.
LibriSpeech 데이터셋에서 CMOS 0.67, SMOS 4.01, WER 1.81 등 기존 최고 성능을 달성.
1B 파라미터, 200K 시간의 학습 데이터를 사용해 확장성을 검증.

핵심 아이디어

기존 TTS 모델은 음성 생성 시 다양한 속성(콘텐츠, 프로도시, 팀브레, 음향 세부사항)이 복잡하게 얽혀 있어 생성 품질이 저하된다. 이를 해결하기 위해 NaturalSpeech 3는 **FVQ(Factorized Vector Quantization)**를 도입하여 음성 파형을 서로 독립적인 속성 공간으로 분리하고, 각 공간에서 생성을 수행하는 **factorized diffusion 모델**을 제안한다. FACodec은 정보 병목 원칙과 감사적 학습을 활용해 각 속성을 효과적으로 분리하며, 생성 모델은 각 속성에 해당하는 프롬프트를 조건으로 사용해 생성 과정을 분할-정복 방식으로 수행한다. 이는 모델 복잡도를 줄이고, 제어 가능성을 높이며, zero-shot 환경에서도 높은 품질의 음성을 생성할 수 있도록 한다.

기술적 접근법

**FACodec**: FVQ를 사용해 음성 파형을 콘텐츠, 프로도시, 팀브레, 음향 세부사항으로 분리.
**Factorized Diffusion 모델**: 각 속성 공간에서 생성을 수행하며, 생성 순서는 duration → prosody → content → acoustic details.
**Duration Diffusion**: duration을 먼저 생성한 후, length regulator를 통해 frame-level 조건을 생성.
**Prosody Diffusion**: prosody prompt와 phoneme 조건을 결합해 prosody를 생성.
**Content Diffusion**: content prompt와 prosody, phoneme을 조건으로 사용.
**Acoustic Details Diffusion**: acoustic details prompt와 이전 생성된 속성을 조건으로 사용.
**하이퍼파라미터**: 1B 파라미터, 200K 시간의 학습 데이터 사용.
**Classifier-Free Guidance**: 생성 품질과 스피커 유사도를 향상시키기 위해 사용.

주요 결과

**LibriSpeech 데이터셋**:
CMOS: 0.67 (기존 0.64 대비 +0.03)
SMOS: 4.01 (기존 3.69 대비 +0.32)
WER: 1.81 (기존 1.94 대비 -0.13)
**Sim-O**: 0.67 (기존 0.64 대비 +0.03)
**MCD**: -0.16 (프로도시 개선)
**Zero-shot 환경**: 팀브레를 프롬프트에서 직접 추출하여 생성하지 않아도 품질 유지.

의의 및 한계

NaturalSpeech 3는 다양한 스피커를 포함한 **LibriSpeech 데이터셋**에서 인간 수준의 자연스러움을 달성한 최초의 모델로, TTS 분야에서 중요한 진전이다. 특히, **속성 분리(factorization)**를 통해 복잡한 음성 정보를 효율적으로 모델링하고, **zero-shot 환경**에서도 높은 품질을 유지하는 것이 학술적·실용적 가치를 가진다. 그러나, 모델은 여전히 **대규모 데이터와 파라미터**가 필요하며, **속성 분리의 완전성**이나 **실시간 생성 속도**에 대한 한계는 남아 있다. 또한, **속성 조절의 유연성**은 향후 연구 주제로 남는다.

실용적 활용

NaturalSpeech 3는 **다양한 음성 스타일을 필요로 하는 콘텐츠 생성**, **개인화된 음성 합성**, **다음 스피커를 포함한 대화형 응용** 등에 활용 가능하다. 특히, **zero-shot 환경**에서의 음성 생성 능력은 **사전 학습된 음성 없이 새로운 스피커의 음성을 생성**할 수 있어, **음성 보조 기술**, **게임**, **음성 인터페이스** 등에 즉각적인 적용이 가능하다.