Audio Flamingo 3: Advancing Audio Intelligence with Fully Open Large Audio Language Models

We present Audio Flamingo 3 (AF3), a fully open state-of-the-art (SOTA) large audio-language model that advances reasoning and understanding across speech, sound, and music. AF3 introduces: (i) AF-Whisper, a unified audio encoder trained using a novel strategy for joint representation learning across all 3 modalities of speech, sound, and music; (ii) flexible, on-demand thinking, allowing the model to do chain-of-thought-type reasoning before answering; (iii) multi-turn, multi-audio chat; (iv) long audio understanding and reasoning (including speech) up to 10 minutes; and (v) voice-to-voice interaction. To enable these capabilities, we propose several large-scale training datasets curated using novel strategies, including AudioSkills-XL, LongAudio-XL, AF-Think, and AF-Chat, and train AF3 with a novel five-stage curriculum-based training strategy. Trained on only open-source audio data, AF3 achieves new SOTA results on over 20+ (long) audio understanding and reasoning benchmarks, surpassing both open-weight and closed-source models trained on much larger datasets.

한 줄 요약

Audio Flamingo 3(AF3)는 음성, 소리, 음악을 통합한 대규모 오픈 소스 오디오-언어 모델로, 10분 긴 오디오 이해 및 추론 등 새로운 기능을 도입하고 20개 이상의 벤치마크에서 최고 성능을 달성했다.

핵심 기여도

AF-Whisper: 음성, 소리, 음악을 통합한 단일 오디오 인코더로, CLAP + Whisper-v3보다 성능 우수함 (Table 4 참조).
AudioSkills-XL: 8M개의 AQA 쌍을 포함한 대규모 데이터셋으로, MMAU 벤치마크에서 성능 저하 없이 학습 효과 증대 (Table 4 참조).
다단계 커리큘럼 학습 전략(5단계)을 통해 긴 오디오(최대 10분) 이해 및 추론 능력 향상.
AF3-Chat: 다중 턴, 다중 오디오 대화 및 음성-음성 상호작용을 지원하는 파인튜닝 모델.

핵심 아이디어

기존 대형 오디오-언어 모델(LALMs)은 주로 짧은 오디오 데이터로 학습되어 복잡한 추론 능력이 부족하다. AF3는 이 문제를 해결하기 위해 **AF-Whisper**라는 단일 오디오 인코더를 도입하여 음성, 소리, 음악을 통합적으로 학습한다. 이는 기존의 CLAP(소리/음악) + Whisper-v3(음성)와 비교해 더 높은 효율성과 성능을 제공한다. 또한, **AudioSkills-XL**과 같은 대규모 데이터셋을 통해 모델이 다양한 추론 상황에 노출되도록 유도하며, **5단계 커리큘럼 학습**을 통해 점진적으로 복잡도를 증가시켜 모델의 추론 능력을 향상시킨다.

기술적 접근법

**AF-Whisper**: 대규모 오디오-캡션 쌍을 사용한 사전 학습으로, 음성, 소리, 음악을 통합한 단일 인코더.
**AudioSkills-XL**: 8M개의 AQA 쌍을 포함한 대규모 데이터셋.
**LongAudio-XL**: 1.25M개의 긴 오디오 QA 쌍을 포함한 데이터셋.
**AF-Think**: 250k+의 짧은 프리픽스를 포함한 AQA 쌍으로, CoT(Chain-of-Thought) 추론 유도.
**AF-Chat**: 75k개의 인스턴스를 포함한 다중 턴, 다중 오디오 대화 데이터셋.
**5단계 커리큘럼 학습**: 컨텍스트 길이와 작업 복잡도를 점진적으로 증가시키는 학습 전략.
**학습 환경**: 128개의 NVIDIA A100 GPU(80GB) 사용.

주요 결과

AF3는 20개 이상의 오디오 이해 및 추론 벤치마크에서 최고 성능(SOTA) 달성.
**LongAudioBench**에서 긴 오디오(최대 10분) 이해 및 추론 성능 우수.
**AudioSkills-XL** 제거 시 MMAU 벤치마크에서 성능 저하 발생 (Table 4 참조).
**AF-Whisper**는 CLAP + Whisper-v3보다 동일 데이터 예산 하에 더 높은 성능 (Table 4 참조).
AF3-Chat은 **AF-Chat-test**에서 Qwen2-Audio 대비 높은 평가 점수(1-5점 척도)를 기록.

의의 및 한계

AF3는 오디오-언어 모델 분야에서 **전면 오픈 소스**라는 점에서 혁신적이며, 모델 가중치, 데이터셋, 코드를 모두 공개함으로써 연구 투명성과 재현성을 높였다. 특히, **AudioSkills-XL**, **AF-Think** 등 새로운 데이터셋과 **AF-Whisper** 인코더는 오디오-언어 모델의 성능 향상에 중요한 기여를 했다. 그러나, **Gemini**와 같은 클로즈드 소스 모델과 비교하면 일부 벤치마크에서 여전히 성능 격차가 존재하며, **음성-음성 상호작용 평가**는 범위를 넘어서므로 포함되지 않았다.

실용적 활용

AF3는 음성 비서, 멀티모달 챗봇, 오디오 분석 시스템 등에 적용 가능하다. 특히, **다중 턴 대화**와 **긴 오디오 추론** 기능은 고객 지원, 교육, 엔터테인먼트 분야에서 활용도가 높으며, **오픈 소스 공개**를 통해 연구자와 개발자들이 모델을 자유롭게 활용하고 개선할 수 있다.