Unified Audio Intelligence Without Regressing on Text Intelligence

Audio intelligence involves understanding, reasoning about, and generating both audio and speech. In this work, we introduce Nemotron-Labs-Audex-30B-A3B (Audex), a unified audio-text LLM built on Nemotron-Cascade-2-30B-A3B, a strong text-only MoE LLM. Audex adopts a simple unified design with a single Transformer decoder: audio inputs are encoded and projected into the text embedding space, while text tokens and quantized audio output tokens are treated uniformly during generation. This architecture enables strong audio-text fusion, seamless multimodal generation, and compatibility with standard LLM training and inference infrastructure. For training, we meticulously curate audio-text datasets comprising 157.4B audio tokens and 320.5B text tokens. We apply multi-stage supervised training on these datasets, followed by text-only Cascade RL and multi-domain on-policy distillation. Audex delivers state-of-the-art audio understanding, speech recognition and translation, text-to-speech, audio generation, and speech-to-speech generation, while preserving very compelling reasoning, alignment, knowledge, long-context, and agentic capabilities of its text-only LLM backbone with marginal or no regression. We release the model checkpoints to facilitate open research.

한 줄 요약

Nemotron-Labs-Audex-30B-A3B는 텍스트 기반 LLM을 기반으로 오디오-텍스트 통합 모델을 구축한 연구이다.

핵심 기여도

Nemotron-Cascade-2-30B-A3B를 기반으로 단일 Transformer 디코더를 사용한 통합 오디오-텍스트 LLM(Audex)을 제안.
157.4B 오디오 토큰과 320.5B 텍스트 토큰으로 훈련.
텍스트 기반 LLM의 핵심 능력(추론, 정렬, 지식, 장문 컨텍스트, 에이전트 기능)을 유지하면서 오디오 관련 작업에서 최첨단 성능 달성.
모델 체크포인트 공개를 통해 오픈 연구를 촉진.

핵심 아이디어

Audex는 오디오 입력을 텍스트 임베딩 공간으로 인코딩 및 프로젝션하고, 텍스트 토큰과 양자화된 오디오 출력 토큰을 생성 시 동일하게 처리함으로써 단일 디코더 기반의 통합 아키텍처를 구현한다. 이는 오디오-텍스트 퓨전, 멀티모달 생성, 표준 LLM 인프라와의 호환성을 동시에 달성한다. 기존 연구는 텍스트와 오디오를 별도의 파이프라인으로 처리하는 반면, Audex는 통합된 디코더를 통해 두 모드를 유기적으로 결합하는 새로운 접근법이다.

기술적 접근법

**모델 아키텍처**: 단일 Transformer 디코더를 사용.
**입력 처리**: 오디오 입력은 텍스트 임베딩 공간으로 인코딩 및 프로젝션.
**데이터셋**: 157.4B 오디오 토큰, 320.5B 텍스트 토큰을 포함한 오디오-텍스트 데이터셋.
**훈련 전략**: 다단계 감독 훈련 → 텍스트 기반 Cascade RL → 다분야 온폴리시 디스틸레이션.

주요 결과

Audex는 오디오 이해, 음성 인식 및 번역, 텍스트-음성, 오디오 생성, 음성-음성 생성 등에서 최첨단 성능을 보인다.
텍스트 기반 LLM의 핵심 능력은 유지되며, 훈련 후 텍스트 성능에 **회귀가 거의 없거나 없음**.

의의 및 한계

Audex는 텍스트 기반 LLM의 강점을 유지하면서 오디오 모드를 통합한 첫 사례로, 멀티모달 LLM 연구에 기여.
표준 인프라와 호환되며, 연구 및 산업적 활용성이 높다.
한계로는 특정 도메인에서의 성능 향상 여부나, 오디오 품질에 따른 결과 변동은 명시되지 않음.

실용적 활용

Audex는 음성 인식, 번역, 생성, 멀티모달 챗봇, 인공지능 음성 어시스턴트 등 다양한 응용 분야에서 활용 가능하다. 특히, 텍스트-오디오 통합 인프라가 필요한 산업 현장에서 유용할 것으로 기대된다.