SEAM: Spectral Embedding Alignment and Merging for Low-Resource TTS

Expanding the vocabulary of conditional text-to-speech (TTS) models typically requires extensive fine-tuning with paired audio, creating a major bottleneck for low-resource and cross-lingual adaptation. To address this, we introduce SEAM, a zero-audio initialization method that constructs embeddings for unseen tokens from known subtokens. Unlike standard pooling strategies that ignore sequential structure, SEAM applies a spectral filter to preserve temporal phonetic order and uses closed-form ridge regression to align the new embeddings with the pretrained conditioning manifold. Across three languages and two TTS architectures, SEAM approaches or matches baseline performance using up to four times less training data, reducing sample complexity by 75\% compared to random initialization and mean pooling. Our approach provides a lightweight, reproducible, and theoretically grounded solution for vocabulary expansion in low-resource speech synthesis.

한 줄 요약

SEAM은 새로운 음소 토큰에 대한 임베딩을 사전 학습된 서브토큰으로부터 생성하여 저자원 TTS 모델의 샘플 효율성을 4배 향상시키는 방법이다.

핵심 기여도

SEAM은 새로운 토큰에 대한 임베딩을 사전 학습된 서브토큰 임베딩을 스펙트럼 필터링과 릿지 회귀를 통해 생성하는 방식을 제안.
기존 랜덤 초기화 및 평균 풀링 대비 샘플 복잡도를 최대 75% 감소.
3개 언어(Russian, Kazakh, French)와 2개 TTS 아키텍처(Chatterbox, VibeVoice)에서 평가.
폐쇄형 릿지 회귀를 사용하여 기울기 기반 최적화 없이 초기화 가능.

핵심 아이디어

SEAM은 새로운 음소 토큰에 대한 임베딩을 사전 학습된 서브토큰 임베딩으로부터 생성하는 방식으로, 기존의 랜덤 초기화나 평균 풀링과 달리 순차적 구조를 유지한다. 이는 스펙트럼 필터링을 통해 시간적 음성 순서를 보존하고, 릿지 회귀를 통해 사전 학습된 조건 임베딩 공간과 정렬함으로써 이루어진다. 핵심 아이디어는 조건 생성의 리프시츠 연속성을 기반으로, 초기화 단계부터 음성 안정성과 구성적 정확도를 보장하는 것이다.

기술적 접근법

**SEAM 모듈**: 서브토큰 임베딩을 이산 신호로 처리하고 스펙트럼 로우패스 필터를 적용하여 저주파 음성 구성성을 보존.
**릿지 회귀**: 사전 학습된 임베딩 매니폴드에 새로운 임베딩을 정렬하는 폐쇄형 수식 사용.
**입력**: 새로운 토큰 $ t \in \mathcal{V}_{\text{new}} $가 $ \{s_1, \dots, s_m\} \subset \mathcal{V}_{\text{old}} $로 분해 가능한 경우, $ c_t \in \mathbb{R}^d $ 생성.
**데이터셋**: Russian (rulibrispeech), Kazakh (KazakhTTS), French (AdrienB134/french-unique-speaker-tts) 사용.
**평가 지표**: CER (Character Error Rate)를 사전 학습된 ASR 모델(nvidia/stt_kk_ru_fastconformer_hybrid_large, nvidia/stt_fr_fastconformer_hybrid_large_pc)을 통해 계산.

주요 결과

5시간, 25시간, 100시간의 학습 예산에서 SEAM은 기존 방법 대비 샘플 효율성을 4배 향상.
Russian 데이터셋에서 CER 12.3% (베이스라인 대비 +1.7%), Kazakh에서 14.1% (+2.4%), French에서 10.8% (+1.5%).
SEAM은 새로운 토큰 수가 증가할수록 기존 방법 대비 성능 차이가 커지는 경향 보임.
VibeVoice 아키텍처에서도 유사한 개선 효과 관찰.

의의 및 한계

SEAM은 저자원 TTS 시스템에서 새로운 토큰 초기화 문제를 해결하는 경량화된, 이론적으로 타당한 접근법을 제시한다. 특히, 기존 방법 대비 샘플 복잡도를 75%까지 줄이는 것은 저자원 언어 확장에 실질적 기여를 한다. 그러나 SEAM은 토큰이 사전 학습된 서브토큰으로 분해 가능해야 하며, IPA 전사가 필요하다는 한계가 있다. 이는 일부 언어나 음성 시스템에서 적용이 어려울 수 있음을 시사한다.

실용적 활용

SEAM은 저자원 언어나 언어 간 이식이 필요한 TTS 시스템에서 즉각적으로 활용 가능하다. 특히, 음성 인터페이스가 필요한 자율적 멀티모달 에이전트(Agentic AI)나 글로벌 음성 기술 확장에 유용하다. 또한, 데이터 수집이 어려운 언어나 지역에서 음성 합성 모델의 초기화 과정을 단축하는 데 기여할 수 있다.