AuK Technical Report: An Open-Source Foundational Model for Speech Generation and Editing

We introduce AuK, an open-source foundational model that unifies speech generation and editing through a common interface of natural-language instructions and audio context. To support this broad capability set, we construct approximately 3.03 billion instruction--audio instances and 1.95 million hours of effective supervision across five task families: speech generation, content editing, enhancement and separation, paralinguistic editing, and acoustic editing. AuK combines a multimodal large language model for semantic conditioning, an VAE jointly trained on speech, general audio, and music for acoustic conditioning, and a hybrid rectified-flow Transformer that performs dual-stream MMDiT blocks followed by unified single-stream DiT blocks for generation. Training begins with generation-only warm-up and proceeds to joint generation--editing pre-training. We then apply complementary post-training strategies: human-feedback preference optimization for open-ended editing and reward-based reinforcement learning for speech generation. To reduce inference cost, we further distill the model with consistency initialization and task-routed Decoupled DMD. The resulting AuK-Flash performs 4-step inference without classifier-free guidance and achieves a 4.5 wall-clock speedup over the full model under matched conditions. Experiments demonstrate leading performance on zero-shot and instruction-controlled speech generation and general instruction-guided editing, while remaining competitive on signal-level restoration tasks. We release both the source code and model weights to support reproducibility and further research.

한 줄 요약

AuK은 자연어와 오디오 컨텍스트를 통합한 인터페이스로 음성 생성 및 편집을 수행하는 오픈소스 기반 모델로, 4.5× 가속된 추론과 3.03억 개의 지시-오디오 인스턴스로 학습된다.

핵심 기여도

AuK은 3.03억 개의 instruction–audio 인스턴스와 1.95백만 시간의 감독 데이터로 학습되어 5가지 음성 작업(생성, 편집, 향상, 분리, 음성 편집)을 통합한다.
MLLM, VAE, hybrid rectified-flow Transformer를 결합한 아키텍처를 제안하며, dual-stream MMDiT와 single-stream DiT 블록을 사용한다.
4단계 추론과 classifier-free guidance 없이 4.5× 가속된 AuK-Flash 버전을 제시한다.
인공지능 기반 보상 학습과 인간 피드백 최적화를 결합한 post-training 전략을 제시한다.

핵심 아이디어

AuK은 자연어 지시와 오디오 컨텍스트를 기반으로 음성 생성 및 편집을 통합하는 모델로, 기존에는 별도의 작업별 모델이 필요했던 문제를 해결한다. 핵심 아이디어는 다중 모달 대형 언어 모델(MLLM)과 오디오 VAE를 결합하여 의미적 조건과 음향 조건을 동시에 처리하는 것이다. 이는 dual-stream MMDiT 블록을 통해 의미와 음향 정보가 병렬적으로 처리되며, 이후 single-stream DiT 블록을 통해 통합된 시퀀스를 생성한다. 또한, 생성과 편집 작업의 요구 사항 차이를 반영해 generation-only warm-up과 joint pre-training을 결합한 학습 전략을 채택한다. 이는 모델이 다양한 작업을 유연하게 처리하도록 유도한다.

기술적 접근법

**데이터**: 3.03억 개의 instruction–audio 인스턴스와 1.95백만 시간의 감독 데이터로 학습.
**모델 구성**: MLLM, AuK-VAE, hybrid rectified-flow Transformer.
**AuK-VAE**: 24kHz 단일 채널 오디오를 처리하며, 12 → 24 → 48 → 96 → 192 → 384 → 768 채널로 다운샘플링.
**Transformer**: 30개의 레이어 (10개의 dual-stream MMDiT + 20개의 single-stream DiT), 1.5억 개의 파라미터.
**추론 가속**: 4단계 추론, classifier-free guidance 없이 4.5× 가속.
**Post-training**: human-feedback preference optimization, reward-based reinforcement learning, consistency initialization, task-routed Decoupled DMD.

주요 결과

AuK-Flash는 4단계 추론으로 4.5× 가속 성능을 달성.
zero-shot 및 instruction-controlled speech generation에서 우수한 성능.
일반 instruction-guided editing에서 뛰어난 성능, signal-level restoration 작업에서도 경쟁력 있음.
MLLM과 VAE의 결합으로 의미 조건과 음향 조건을 동시에 처리하며, dual-stream MMDiT와 single-stream DiT 블록을 통해 유연한 생성이 가능.

의의 및 한계

AuK은 단일 모델로 음성 생성과 편집을 통합한 첫 번째 시도로, 다양한 음성 작업을 처리하는 데 유용한 기반 모델을 제공한다. 또한, 오픈소스로 공개되어 연구 및 산업적 활용이 가능하다. 그러나 자유 형식의 편집 요청에 대한 내재적 이해력은 여전히 제한적이며, 명시적인 작업 라우팅과 프롬프트 향상이 필요하다. 또한, 추론 비용을 더 줄이고, 조합적 일반화와 개방형 오디오 변환의 정렬을 개선하는 것이 향후 연구 과제이다.

실용적 활용

AuK은 음성 생성, 편집, 향상, 분리, 음성 편집 등 다양한 음성 작업이 필요한 음성 합성, 콘텐츠 제작, 오디오 편집, VR/AR, 챗봇 등 산업 분야에서 활용 가능하다. 또한, 연구자들이 다양한 음성 작업을 단일 모델로 처리하는 방법을 탐구하는 데 유용한 기반을 제공한다.