A Quantized Native Runtime for On-Device Semantic Audio Generation

Semantic audio applications increasingly require controllable generation on commodity and embedded hardware rather than through framework-heavy datacenter stacks. We present aria, a dependency-free native runtime that runs the complete text-to-music pipeline of Stable Audio~3 (SA3) on ordinary GPUs, CPU-only machines, and a Raspberry~Pi~5, with no Python or deep-learning framework underneath. Our main contribution is a study of quantization: running the model at lower numerical precision to fit tight memory budgets, saving memory in place rather than adding to it. Because the runtime owns every internal tensor, it also exposes activation steering, a low-cost way to steer what the model generates. We judge the quality cost with three independent measures of the output (prompt adherence, overall audio quality, taste preservation), each compared against the ordinary variation between random seeds. Eight-bit precision shows no measurable quality loss on any measure while sharply cutting memory, and it is the fastest mode on the GPU; four-bit adds a small, bounded cost but shrinks the footprint enough to run the 1.2-billion-parameter model on an 8\,GB Pi. Against the official implementation, aria matches or exceeds generation speed and starts about seven times faster. A case study of the steering interface generates music carrying taste associations (sonic seasoning), with genuine but bounded control for a subset of attributes. These results make a compact, quantized runtime with built-in control a practical basis for on-device semantic audio in Internet-of-Sounds settings. The aria runtime is released at https://github.com/matteospanio/aria.

한 줄 요약

Aria는 텍스트-음악 생성 모델을 저사양 기기에서 실행할 수 있도록 8비트/4비트 정량화와 활성화 조정을 결합한 네이티브 런타임이다.

핵심 기여도

8비트 정량화로 메모리 절감 없이 품질 손실 없이 GPU에서 가장 빠르게 실행됨.
4비트 정량화로 12억 파라미터 모델을 8GB 메모리의 Raspberry Pi 5에서 실행 가능.
활성화 조정(activation steering)을 통해 생성 음악의 특정 속성에 대한 제어 가능.
공식 구현 대비 7배 빠르게 시작되며, 생성 속도는 동일하거나 빠름.

핵심 아이디어

Aria는 딥러닝 프레임워크 없이 텍스트-음악 생성 파이프라인을 직접 실행하는 네이티브 런타임으로, 모델의 모든 텐서를 직접 소유함으로써 정량화와 활성화 조정을 효과적으로 결합한다. 특히, 8비트 정량화는 메모리 절감과 속도 향상을 동시에 달성하며, 4비트 정량화는 메모리 제약이 극심한 장치에서도 실행 가능하도록 모델 크기를 축소한다. 활성화 조정은 생성 음악의 특정 속성(예: 'sonic seasoning')을 제어하는 저비용 방법으로, 토큰 단위로 방향성 성분을 증폭하거나 제거함으로써 음악의 감각적 특성을 조정한다.

기술적 접근법

**모델**: Stable Audio 3 (SA3)의 텍스트-음악 생성 파이프라인.
**정량화**: 8비트 및 4비트 정량화를 적용하여 메모리 절감.
**활성화 조정**: 토큰 단위로 방향성 성분을 조정 (β > 0 또는 β < 0).
**실험 설정**: Raspberry Pi 5, 일반 GPU, CPU-only 기기에서 테스트.
**하이퍼파라미터**: α = 0.15, β 조정 범위, 8비트/4비트 정량화 적용.

주요 결과

8비트 정량화: 품질 측정 지표(prompt adherence, overall audio quality, taste preservation)에서 손실 없음, GPU에서 가장 빠름.
4비트 정량화: 메모리 절감으로 1.2억 파라미터 모델이 8GB Pi에서 실행됨.
Aria는 공식 구현 대비 약 7배 빠르게 시작됨.
활성화 조정을 통해 음악의 감각적 특성(sonic seasoning)을 제어 가능.

의의 및 한계

Aria는 저사양 기기에서도 고성능 텍스트-음악 생성을 가능하게 하며, IoT 기반 음성/음악 생성 시스템에 실용적 기반을 제공한다. 그러나 활성화 조정은 특정 속성에만 제한적으로 적용되며, 모든 속성을 완전히 제어하는 것은 불가능하다. 또한, 4비트 정량화는 품질에 작은 영향을 미치며, 이는 일부 응용에서는 문제가 될 수 있다.

실용적 활용

Aria는 스마트 홈, IoT 기기, 모바일 애플리케이션 등에서 실시간 텍스트-음악 생성을 가능하게 하며, 특히 메모리 제약이 있는 장치에서 유용하다. 또한, 음악 생성의 감각적 특성을 제어할 수 있어 개인화된 음악 추천 및 생성 시스템에 활용 가능하다.