Live Music Diffusion Models: Efficient Fine-Tuning and Post-Training of Interactive Diffusion Music Generators

Interactive streaming music generation promises the use of generative models for live performance and co-creation that is impossible with offline models. However, SOTA models exist in the discrete-AR regime, requiring industrial levels of compute for both training and inference. In this work, we investigate whether audio diffusion models, with their wide support in the open-source community but non-streaming bidirectional nature, can be repurposed efficiently into interactive models accessible on consumer hardware. By taking a critical look at the modern pipeline for block-wise outpainting diffusion, we identify critical inefficiencies during inference that result in strictly worse computational efficiency than their discrete-AR counterparts. We propose Live Music Diffusion Models (LMDMs), a simple modification of the generative diffusion process that recovers, and then outperforms, the inference complexity of the discrete Live Music Models (LMMs) through block-wise KV Caching. Unlike LMMs, LMDMs further enable stable post-training alignment through our novel ARC-Forcing paradigm, reducing error accumulation without any explicit RL or reward models. We demonstrate the application of LMDMs in a number of creative domains, including text-conditioned generation, sketch-based music synthesis, and jamming. We finally show how LMDMs can be used as a generative instrument in a real artist-AI collaboration, utilizing LMDMs as a "generative delay" to transform musicians' improvisation live for variable timbral effects while running locally on a consumer gaming laptop.

한 줄 요약

**[Streaming Music Diffusion]** LMDM이 block-wise KV caching으로 audio diffusion의 inference 비효율을 회복해 discrete-AR LMM을 능가, ARC-Forcing post-training이 RL·reward model 없이 error accumulation 감소, 소비자 게이밍 노트북에서 라이브 연주 협업 지원.

핵심 기여도

Interactive streaming music generation이 라이브 연주·공동 창작에서 offline 모델로는 불가능한 활용을 약속하지만, SOTA 모델이 discrete-AR 영역에 존재해 학습·추론에 industrial 수준 compute가 요구됨을 지적.
오픈소스 커뮤니티가 풍부히 지원하는 audio diffusion 모델(원래 비스트리밍 양방향)이 consumer hardware에서 interactive 모델로 효율적으로 repurpose될 수 있는지 탐구.
현대의 block-wise outpainting diffusion 파이프라인을 비판적으로 점검해 inference 중 critical inefficiencies — discrete-AR 대비 strictly 나쁜 계산 효율 — 식별.
LMDM(Live Music Diffusion Models) — block-wise KV caching을 통해 discrete LMM의 추론 복잡도를 회복·능가하는 단순 변형 제안. LMDM은 추가로 ARC-Forcing paradigm을 통해 explicit RL·reward model 없이 안정적 post-training alignment·error accumulation 감소 가능.

핵심 아이디어

Streaming music diffusion의 효율 격차는 outpainting diffusion이 KV caching의 이점을 살리지 못해 발생하며, block-wise KV caching·ARC-Forcing post-training 두 단순 modification만으로 discrete-AR LMM의 계산 효율을 따라잡고 alignment까지 가능해 소비자 노트북의 라이브 연주 도구로 활용 가능하다.

기술적 접근법

**방법론**: LMDM — block-wise KV caching + ARC-Forcing post-training.
**핵심 기법**: (1) Audio diffusion에 block-wise KV caching 적용해 discrete LMM 수준 inference 효율 회복, (2) ARC-Forcing post-training으로 RL·reward model 없이 alignment, (3) Text-conditioned generation·sketch-based synthesis·jamming 등 multiple creative 응용 지원, (4) Live "generative delay" 형태로 즉흥 연주 변환, (5) Consumer gaming laptop 로컬 실행.

주요 결과

LMDM이 discrete LMM의 inference 복잡도를 회복·능가.
ARC-Forcing이 RL 없이 안정적 alignment·error accumulation 감소.
Text 조건·스케치 기반 음악·jamming 등 다양 창작 응용 시연.
실 artist-AI 협업: 게이밍 노트북에서 즉흥 연주를 가변 음색 효과로 변환하는 "generative delay" 악기 시연.

의의 및 한계

**의의**: Streaming music diffusion의 효율 격차 해소, 오픈소스 커뮤니티에 친화적 audio diffusion 활용 경로 개척, ARC-Forcing이 RL 의존 없는 alignment 일반 도구, 라이브 음악 협업의 새 인터페이스. **한계**: Block-wise 처리의 chunk 경계 artifact, 매우 긴 generation에서의 누적 drift는 검증 필요, 소비자 노트북 자원의 latency 한계.

실용적 활용

라이브 음악 공연·즉흥 연주의 AI 협업.
소비자 hardware의 streaming music generation.
Audio diffusion의 일반 streaming 변환 패턴.