StyleStream 2.0: Fast and Controllable Streaming Voice Style Conversion

Voice style conversion (VSC) aims to transform a source utterance to match the timbre, accent, and emotion of a target voice while preserving linguistic content. StyleStream 1.0 introduced the first streamable zero-shot VSC system with state-of-the-art conversion quality, but remained limited in two ways: approximately 1s end-to-end latency on consumer hardware, and the lack of a text-based interface for designing or editing target voices. We present StyleStream 2.0, a fast and controllable streaming VSC framework that addresses these limitations. To reduce latency, we train a few-step pixel MeanFlow model and further fine-tune it with autoregressive feedback inspired by Self Forcing, improving robustness under streaming inference. This reduces end-to-end latency to 520~ms on a consumer GPU, a 2x speedup over StyleStream 1.0, while maintaining conversion quality. To enable controllable style manipulation, we remove the mel-spectrogram context and instead route target style information through a compact style embedding. In this embedding space, we train a unified text-conditioned flow matching model that supports both text-based voice design, which maps natural language prompts to voice styles, and instruction-based voice editing, which modifies a specific attribute of a source utterance while preserving the rest. Experiments show that StyleStream 2.0 achieves the strongest target style fidelity on VSC, voice design, and voice editing, while remaining competitive on intelligibility and non-edited attribute preservation.

한 줄 요약

StyleStream 2.0은 실시간 음성 스타일 변환을 520ms로 가속화하고, 텍스트 기반 음성 디자인 및 편집을 지원하는 첫 스트리밍 VSC 시스템이다.

핵심 기여도

520ms의 end-to-end latency를 달성하여 StyleStream 1.0 대비 2배 가속 (consumer GPU 기준).
텍스트 조건부 통합 flow matching 모델을 통해 자연어 프롬프트 기반 음성 디자인과 속성 기반 편집을 지원.
단일 style embedding 공간에서 timbre, accent, emotion을 모두 처리하는 통합 제어 모델 제안.
기존 reference-based 및 cascaded baseline 대비 target-style fidelity 향상.

핵심 아이디어

StyleStream 2.0은 기존 VSC 시스템의 두 가지 주요 한계—높은 latency와 텍스트 기반 제어의 부재—를 해결하기 위해 설계되었다. 첫째, 기존 multi-step diffusion 모델 대신 few-step pixel MeanFlow 모델을 사용하여 latency를 줄였으며, Self Forcing 아이디어를 기반으로 한 autoregressive feedback fine-tuning을 도입하여 스트리밍 추론의 안정성을 향상시켰다. 둘째, 기존 mel-spectrogram context 대신 compact style embedding을 사용하여 텍스트 조건부 제어를 가능하게 했다. 이 embedding 공간에서 FLUX Kontext 아이디어를 차용한 통합 text-conditioned DiT 모델을 학습하여, 자연어 프롬프트를 기반으로 음성 스타일을 생성하거나, 특정 속성만 편집하는 기능을 구현했다. 이는 기존 시스템이 단일 속성만 다루는 데 그난 반면, StyleStream 2.0은 timbre, accent, emotion, age, gender를 통합하여 다차원 제어를 가능하게 한다는 점에서 혁신적이다.

기술적 접근법

**Destylizer-Stylizer 아키텍처**: StyleStream 1.0의 Destylizer를 그대로 사용하며, Stylizer를 few-step pixel MeanFlow 모델로 재설계.
**Stylizer 최적화**: Self Forcing 아이디어를 기반으로 autoregressive feedback fine-tuning을 적용하여 chunk-by-chunk 추론의 안정성 향상.
**Style Embedding 공간**: mel-spectrogram context를 제거하고, 단일 style embedding을 통해 target style 정보를 전달.
**Voice Controller**: text-conditioned DiT 모델을 사용하여 자연어 프롬프트 기반 voice design 및 속성 기반 voice editing 지원.
**속성 범위**: age, gender, accent, emotion 4가지 속성에 대한 제어 가능.
**Vocoder**: causal Vocos-based vocoder를 사용하여 mel-spectrogram을 waveform으로 변환.

주요 결과

**VSC 성능**: StyleStream 2.0은 target-style fidelity에서 기존 reference-based 및 cascaded baseline 대비 우수한 성능을 보임.
**속도 개선**: consumer GPU에서 end-to-end latency 520ms 달성 (StyleStream 1.0 대비 2배 가속).
**텍스트 기반 제어**: 3000개의 테스트 케이스에서 자연어 프롬프트 기반 음성 디자인과 속성 기반 편집 성능이 기존 시스템 대비 우수.
**속성 보존**: non-edited attribute preservation에서 높은 정확도 유지.

의의 및 한계

StyleStream 2.0은 실시간 음성 변환의 latency 문제를 해결하면서도, 텍스트 기반 음성 제어를 가능하게 함으로써 VSC의 실용성을 크게 확장한다. 특히, 기존 시스템이 단일 속성만 다루는 데 그난 반면, StyleStream 2.0은 timbre, accent, emotion, age, gender를 통합하여 다차원 제어를 가능하게 하며, 이는 학술적·산업적 측면에서 모두 혁신적인 접근이다. 그러나, 텍스트 기반 제어의 정확도는 사용자의 입력 질에 따라 변동할 수 있으며, 복잡한 음성 스타일을 표현하기 위한 프롬프트 생성이 여전히 어려울 수 있다는 한계가 있다.

실용적 활용

StyleStream 2.0은 챗봇, 가상 보조, 게임 캐릭터, 콘텐츠 제작 등 다양한 음성 인터페이스 분야에서 활용 가능하다. 특히, 사용자가 자연어로 음성 스타일을 직접 지정하거나 편집할 수 있어, 사용자 맞춤형 음성 서비스 개발에 적합하다.