StepAudio 3 Music Technical Report

We introduce StepAudio 3 Music, a large-scale, long-form music generation model that supports explicit musical planning and open-domain text-controlled generation. The StepAudio Music Tokenizer represents audio as a 50-Hz stream from a 65536-entry single codebook, using semantically informed self-supervised and multi-task training to preserve musical structure and reconstruction-relevant information. A flow-matching diffusion Transformer (DiT) predicts continuous StepAudio VAE latents, which our VAE decoder converts into 48-kHz audio. This discrete-continuous design is guided by comparisons of single-codebook VQ, Semantic and Acoustic RVQ, and different DiT configurations. For explicit planning, a Mixture-of-Experts autoregressive model uses ABC notation to produce an intermediate arrangement plan (ABC-CoT) before predicting music tokens, making harmony, rhythm, and melodic structure part of the generation context. A progressive training curriculum and supervised fine-tuning support song and instrumental generation, accompaniment generation from dry vocals, and cover-song synthesis for up to 5 minutes and 30 seconds. With reinforcement learning via direct preference optimization (DPO), the final model achieves the highest AudioBox Content Enjoyment, Content Usefulness, and Production Quality scores and the highest MuQ-MuLan similarity among the evaluated systems, with competitive SongBench results. On the preliminary Artificial Analysis Music Arena Vocals leaderboard, it obtains a Quality Elo of 1105, behind only Suno V5.5 and Mureka and ahead of Suno V5, MiniMax models, and other systems. Audio demonstrations are available at https://stepaudiollm.github.io/step-audio-3-music.

한 줄 요약

StepAudio 3 Music은 ABC-CoT 기반의 음악 계획과 텍스트 제어를 지원하는 대규모 장시간 음악 생성 모델이다.

핵심 기여도

**ABC-CoT**(ABC Chain-of-Thought)를 사용한 음악 구조 계획: 조화, 리듬, 멜로디 구조를 생성 맥락에 포함.
**StepAudio Music Tokenizer**: 65536-entry 단일 코드북을 사용한 50-Hz 스트림으로 음악 구조와 재구성 정보를 보존.
**DPO**(Direct Preference Optimization)를 통한 강화 학습: AudioBox, MuQ-MuLan, SongBench 등에서 최고 성능 달성.
**5분 30초**까지의 음악 생성 지원: 가사-음악 생성, 악기 음악 생성, 드라이 보컬에서 악반 생성, 커버송 합성 가능.

핵심 아이디어

StepAudio 3 Music은 음악 생성의 장기적 구조와 세부 음향 표현을 분리하여 처리하는 새로운 접근법을 제시한다. 기존 연구는 확산 모델(DiT)과 언어 모델을 결합하여 음악 토큰 생성과 음향 렌더링을 분리하는 방식을 사용했으나, StepAudio는 이를 **ABC-CoT**(ABC Chain-of-Thought)라는 음악적 계획 단계를 추가하여 구조적 통제를 강화했다. ABC-CoT는 ABC 표기법을 사용해 조화, 리듬, 멜로디 구조를 생성 전에 명시적으로 표현함으로써, 생성된 음악이 텍스트 조건과 일관된 구조를 유지하도록 한다.

또한, **StepAudio Music Tokenizer**는 65536-entry 단일 코드북을 사용한 50-Hz 스트림으로 음악 구조와 재구성 정보를 보존하며, 이는 **Self-supervised 및 Multi-task 학습**을 통해 학습된다. 이는 다중 코드북 RVQ 대비 더 안정적인 자동회귀 생성을 가능하게 하며, **Flow-matching DiT**(Diffusion Transformer)를 통해 연속적인 VAE 잠재 공간을 예측하고, 48-kHz 오디오로 변환한다.

기술적 접근법

**StepAudio Music Tokenizer**: 65536-entry 단일 코드북, 50-Hz 스트림, Self-supervised + Multi-task 학습.
**DiT**(Diffusion Transformer): Flow-matching 방식으로 StepAudio VAE 잠재 공간 예측.
**MoE**(Mixture-of-Experts) 자동회귀 모델: ABC-CoT를 생성 전에 중간 계획 생성.
**DPO**(Direct Preference Optimization): 강화 학습을 통해 AudioBox, MuQ-MuLan, SongBench 등에서 최고 성능 달성.
**VAE 디코더**: DiT의 출력을 48-kHz 오디오로 변환.
**진행형 학습 커리큘럼**: 5분 30초까지의 음악 생성 지원 (가사-음악, 악기, 커버송 등).

주요 결과

**AudioBox**: Content Enjoyment, Content Usefulness, Production Quality에서 최고 점수.
**MuQ-MuLan**: MuQ-MuLan 유사도에서 최고 성능.
**SongBench**: 경쟁력 있는 결과.
**Artificial Analysis Music Arena Vocals 리더보드**: Quality Elo 1105 (Suno V5.5, Mureka 다음, Suno V5, MiniMax 앞서).

의의 및 한계

StepAudio 3 Music은 **ABC-CoT**를 통해 음악 구조를 명시적으로 계획할 수 있는 첫 번째 모델로, 음악 생성의 창의적 통제를 강화한다. 또한, **DPO 기반 강화 학습**을 통해 사용자 선호도를 반영한 최적화를 수행하며, **5분 30초**까지의 장시간 음악 생성을 지원하는 점에서 실용적 가치가 높다.

하지만, **SongBench 평가 데이터**는 SFT 데이터와 중복되어 있어 독립성에 한계가 있으며, **DPO 학습**은 전문가의 쌍선호 데이터에 의존한다. 또한, **ABC 표기법의 정확한 준수 여부**는 평가되지 않았으며, **각 구성 요소의 독립적 기여도**를 분리하기 위한 제어 실험도 부족하다.

실용적 활용

StepAudio 3 Music은 음악 제작자들이 텍스트와 음악 표기법을 통해 음악 구조를 명시적으로 제어할 수 있도록 지원하며, **커버송 합성**, **드라이 보컬에서 악반 생성**, **악기 음악 생성** 등 다양한 음악 제작 상황에 활용 가능하다. 특히, **ABC-CoT 기반의 계획 단계**는 음악 편곡 과정에서 창의적 피드백을 반영하는 데 유용할 수 있다.