WanSong v1.0 Technical Report

Music generation foundation models have recently attracted significant industry attention. However, achieving efficient generation and high-fidelity long-form audio while supporting controllability remains challenging. To address these needs, we present WanSong, a simple yet powerful approach for long-form, commercial-grade song generation. Unlike autoregressive (AR) and cascaded multi-stage pipelines (\eg, AR followed by diffusion), WanSong is a pure diffusion-based model that directly generates high-fidelity, multilingual songs up to 5 minutes and outputs dual stems (vocals and background music) in a single run. In addition, our diffusion framework enables faster inference through step-distillation, and offers an efficient pathway for fine-tuning and customization to support downstream editing tasks.

한 줄 요약

WanSong v1.0은 5분 길이의 다국어 고품질 음악을 단일 스테이지 확산 모델로 생성하며, 보컬과 배경음악을 분리 출력하는 음악 생성 기반 모델이다.

핵심 기여도

5분 길이의 고품질 다국어 음악을 단일 실행으로 생성.
보컬과 배경음악(BGM)을 독립적으로 생성하는 dual-stem 토큰 구조 제안.
기존 CFG 방식의 한계를 극복하고, 보컬과 BGM의 균형을 유지.
25B 파라미터 규모의 hybrid-MMDit 아키텍처를 기반으로 확산 모델 구현.

핵심 아이디어

WanSong v1.0은 기존의 자동회귀(AR) 모델이나 다단계 파이프라인(예: AR + 확산)을 사용하는 방식과 달리, 단일 스테이지 확산 모델을 기반으로 음악을 생성한다. 이는 보컬과 BGM을 별도의 토큰으로 처리하여 서로 간섭하지 않도록 설계한 dual-stem token scheme을 통해 가능하다. 기존의 Classifier-Free Guidance (CFG)는 보컬 정확도를 높이면 BGM이 약화되는 문제가 있었으나, 이 문제를 해결하기 위해 블록 내부에서 보컬과 BGM을 병렬 학습하는 joint-learning-in-layer 전략을 도입했다. 또한, RLHF를 활용해 생성 음악의 음악성, 가사 정확도, 프롬프트 일치도를 인간 선호와 맞추는 방식으로 품질을 개선했다.

기술적 접근법

**모델 아키텍처**: hybrid-MMDit을 사용하며, 텍스트 토큰과 보컬/BGM 토큰을 결합한 시퀀스를 입력으로 받는다.
**토큰 처리**: 텍스트는 decoder-only LLM으로, 보컬/BGM은 VAE로 인코딩한 후 결합.
**확산 프레임워크**: 단일 스테이지 확산 모델을 사용해 보컬과 BGM을 동시에 생성.
**학습 전략**: 블록 내에서 보컬과 BGM을 병렬 학습하는 joint-learning-in-layer 적용.
**하이퍼파라미터**: 전체 모델 파라미터는 약 25B, N/(N+K) = 0.3 비율로 토큰 패킹 수행.

주요 결과

**WanSong 벤치마크 평가**: objective metrics에서 강력한 성능을 보임.
**CFG 조절 실험**: 기존 방식에서는 보컬 정확도가 높아질수록 BGM이 약화되었으나, dual-stem token을 통해 이 문제를 해결.
**생성 길이**: 최대 5분 길이의 고품질 음악 생성 가능.
**출력 형식**: 보컬과 BGM을 분리된 스테레오 트랙으로 출력하여 후처리 편의성 향상.

의의 및 한계

WanSong v1.0은 단일 확산 파이프라인으로 고품질, 다국어, 긴 길이의 음악을 생성할 수 있는 새로운 방향을 제시한다. 특히, 보컬과 BGM을 독립적으로 처리하는 dual-stem token은 기존 모델에서 발생하는 간섭 문제를 근본적으로 해결하며, 후처리 편의성을 높인다. 또한, RLHF를 통해 인간 선호도를 반영한 음악 생성이 가능하다는 점에서 실용적 가치가 크다. 그러나 모델 크기가 25B에 달하며, 확산 기반 모델의 일반적인 추론 속도 문제는 여전히 존재하며, 대규모 데이터셋에 의존한다는 한계가 있다.

실용적 활용

WanSong v1.0은 음악 제작, 콘텐츠 제작, 게임 및 영화 산업에서 고품질 음악을 빠르게 생성하고, 보컬과 BGM을 분리하여 편집할 수 있는 도구로 활용될 수 있다. 특히, 다국어 지원과 5분 길이 생성 기능은 글로벌 콘텐츠 제작에 적합하며, AI 기반 음악 제작 플랫폼에 통합될 수 있다.