MuScriptor: An Open Model for Multi-Instrument Music Transcription

Existing methods for automatic music transcription are often limited to single-instrument recordings or fail on complex, real music mixes. Although previous work utilizes synthetic training data, the resulting models generalize poorly, leading to largely unusable transcription output in realistic, multi-instrument settings. In this work, we analyze the effectiveness of synthetic data for pre-training while combining it with fine-tuning on real music audio and post-training using reinforcement learning. We further introduce conditioning on instrument presence to customize transcriptions. Finally, we release MuScriptor, an open-weight multi-instrument music transcription model that works on real-world music recordings from across a diverse range of musical genres.

한 줄 요약

MuScriptor는 170k 개의 실제 음악 데이터와 1.45M 개의 합성 데이터를 사용해 학습한 오픈 모델로, 다양한 장르의 다중 악기 음악을 자동으로 기호화한다.

핵심 기여도

MuScriptor 모델을 공개: 170k 개의 실제 음악 데이터(11k 시간)와 1.45M 개의 합성 MIDI 데이터를 기반으로 학습한 다중 악기 음악 기호화 모델.
합성 데이터 사전 학습 분석: 합성 데이터로 사전 학습한 후 실제 데이터로 미세 조정하면 1%의 실제 데이터에서도 오프셋 F1이 9.9에서 33.4로 향상됨.
강화 학습 기반 정렬: 300개의 고질량 기호화 데이터를 사용한 GRPO 알고리즘으로 모델 정렬.
악기 조건 기반 기호화: 악기 존재 여부에 따라 기호화 결과를 조정할 수 있는 기능 추가.

핵심 아이디어

기존의 자동 음악 기호화 모델은 단일 악기 또는 합성 데이터에 의존해 실제 음악 믹스에서 성능이 저하된다. MuScriptor는 합성 데이터로 사전 학습한 후 실제 음악 데이터로 미세 조정하고, 강화 학습을 통해 정렬하여 실제 음악 믹스에서도 정확한 기호화를 가능하게 한다. 특히, 악기 존재 여부에 따라 기호화를 조건화함으로써 결과의 일관성과 사용자 맞춤성을 높였다. 이는 기존의 단일 악기 중심 모델과는 차별화된 접근법이다.

기술적 접근법

**모델 아키텍처**: 디코더-오직 트랜스포머(4가지 크기: 60M, 100M, 300M, 1.3B 파라미터)를 사용.
**입력 처리**: 5초 길이의 오디오를 2048 포인트 STFT로 변환한 멜-스펙트로그램과 악기 조건 정보를 입력으로 사용.
**학습 전략**: 합성 데이터로 사전 학습 후 실제 데이터로 미세 조정. 300개의 고질량 데이터로 GRPO 알고리즘 기반 강화 학습 적용.
**하이퍼파라미터**: AdamW 최적화, 학습률 1e-4, 배치 크기 64, 1M 학습 스텝, 2000 스텝의 선형 워밍업, 코사인 스케줄링.

주요 결과

**오프셋 F1**: 1%의 실제 데이터만 사용할 때 합성 사전 학습 모델은 33.4 (베이스라인 대비 +23.5)의 성능을 보임.
**최대 성능**: 100%의 실제 데이터를 사용한 경우, 합성 사전 학습 모델은 42.3의 오프셋 F1을 달성 (베이스라인 대비 +1.3).
**모델 크기 영향**: 60M 파라미터 모델도 65의 프레임 F1 성능을 보여, 저자원 환경에서도 활용 가능.

의의 및 한계

MuScriptor는 다양한 음악 장르에 걸쳐 다중 악기 기호화를 가능하게 하며, 오픈 모델로서 연구자와 음악가 모두에게 유용한 도구가 될 수 있다. 특히, 합성 데이터와 실제 데이터의 결합 학습 전략은 기존의 단일 데이터 기반 모델의 한계를 극복하는 데 기여한다. 그러나, 모델은 동일 피치와 악기에서 동시에 여러 음을 처리할 수 없으며, 이는 토큰화 방식의 제약으로 인한 한계이다. 또한, 현재는 5초 단위의 분할 처리를 기반으로 하므로, 더 긴 음악 구간 처리는 추가 연구가 필요하다.

실용적 활용

MuScriptor는 음악 학자들이 음악 분석을 자동화하거나, 음악 제작자들이 음악 편곡을 보조하는 데 활용될 수 있다. 또한, 음악 정보 검색(MIR) 분야에서 코드 인식, 키 인식 등 다양한 응용이 가능하다. 특히, 악기 조건 기반 기호화 기능은 사용자의 특정 요구에 맞춘 맞춤형 음악 분석을 가능하게 한다.