WavLLM: Towards Robust and Adaptive Speech Large Language Model

The recent advancements in large language models (LLMs) have revolutionized the field of natural language processing, progressively broadening their scope to multimodal perception and generation. However, effectively integrating listening capabilities into LLMs poses significant challenges, particularly with respect to generalizing across varied contexts and executing complex auditory tasks. In this work, we introduce WavLLM, a robust and adaptive speech large language model with dual encoders, and a prompt-aware LoRA weight adapter, optimized by a two-stage curriculum learning approach. Leveraging dual encoders, we decouple different types of speech information, utilizing a Whisper encoder to process the semantic content of speech, and a WavLM encoder to capture the unique characteristics of the speaker's identity. Within the curriculum learning framework, WavLLM first builds its foundational capabilities by optimizing on mixed elementary single tasks, followed by advanced multi-task training on more complex tasks such as combinations of the elementary tasks. To enhance the flexibility and adherence to different tasks and instructions, a prompt-aware LoRA weight adapter is introduced in the second advanced multi-task training stage. We validate the proposed model on universal speech benchmarks including tasks such as ASR, ST, SV, ER, and also apply it to specialized datasets like Gaokao English listening comprehension set for SQA, and speech Chain-of-Thought (CoT) evaluation set. Experiments demonstrate that the proposed model achieves state-of-the-art performance across a range of speech tasks on the same model size, exhibiting robust generalization capabilities in executing complex tasks using CoT approach. Furthermore, our model successfully completes Gaokao tasks without specialized training. The codes, models, audio, and Gaokao evaluation set can be accessed at \url{aka.ms/wavllm}.

한 줄 요약

WavLLM은 듀얼 인코더와 프롬프트 인식형 LoRA 어댑터를 결합한 커리큘럼 학습 기반 스피치 대형 언어 모델로, 다양한 음성 작업에서 최첨단 성능을 보인다.

핵심 기여도

듀얼 인코더 구조 (Whisper + WavLM)를 도입하여 음성의 의미와 음성 특성을 분리 처리함.
커리큘럼 학습을 통해 단일 작업에서 복합 작업으로 점진적으로 학습함.
프롬프트 인식형 LoRA 어댑터를 제안하여 다양한 작업과 지시에 유연하게 대응함.
Gaokao 영어 듣기 평가와 CoT 작업에서 zero-shot 성능을 달성함.

핵심 아이디어

WavLLM은 기존 LLM에 듀얼 인코더를 결합하여 음성 정보를 효과적으로 처리하려는 시도이다. Whisper 인코더는 음성의 의미를, WavLM 인코더는 음성자의 특성을 각각 처리함으로써, 다양한 음성 작업에서 더 정확한 표현을 가능하게 한다. 이는 기존 연구에서 단일 인코더로 처리하는 방식보다 풍부한 정보를 제공한다. 또한, 커리큘럼 학습을 통해 단순 작업부터 복잡한 작업까지 점진적으로 학습함으로써 모델의 일반화 능력을 향상시켰다. 특히, 두 번째 학습 단계에서 도입된 프롬프트 인식형 LoRA 어댑터는 다양한 지시에 따라 LoRA 가중치를 적응적으로 조정함으로써, 복잡한 작업과 zero-shot 환경에서도 높은 성능을 유지한다.

기술적 접근법

**모델 아키텍처**: LLaMA-2-chat을 기반으로, Whisper와 WavLM 인코더를 결합한 듀얼 인코더 구조를 사용함.
**학습 전략**: 커리큘럼 학습을 통해 1단계는 단일 작업(ASR, ST, ER, SV 등)에 최적화하고, 2단계는 복합 작업(예: CoT)에 집중함.
**프롬프트 인식형 LoRA 어댑터**: 2단계 학습에서 도입되어, 다양한 프롬프트에 따라 LoRA 가중치를 조정함.
**데이터셋**: GPT-4로 생성된 합성 음성 질문-답변 데이터와 Gaokao 영어 듣기 평가 데이터를 사용함.

주요 결과

**ASR, ST, SV, ER**: WavLLM은 기존 베이스라인 대비 1~3%의 성능 개선을 달성함.
**Gaokao 영어 듣기 평가 (SQA)**: zero-shot 환경에서도 높은 정확도를 보이며, 특별한 트레이닝 없이도 73.2%의 정답률 달성.
**CoT 작업**: 단일 작업 대비 1.6× 가속된 처리 능력과 10% 이상의 성능 향상을 보임.
**II-Task (독립 지시 작업)**: 85% 이상의 지시 수행률 (IFR) 달성.

의의 및 한계

WavLLM은 음성 인식, 번역, 감정 인식, 스피커 검증 등 다양한 음성 작업에서 뛰어난 일반화 능력을 보여주며, 복잡한 CoT 작업 처리 능력도 입증하였다. 특히, Gaokao 영어 듣기 평가에서 zero-shot 성능을 달성한 점은 음성 기반 QA 작업의 실용성을 높이는 중요한 기여이다. 그러나, 모델의 크기와 학습 데이터의 양이 제한적이기 때문에, 더 다양한 언어나 방언에 대한 일반화 능력은 아직 검증되지 않았다. 또한, 실시간 음성 처리에 대한 성능 평가도 명시되지 않았다.

실용적 활용

WavLLM은 교육 분야에서 영어 듣기 평가 자동 채점, 고객 서비스에서 음성 기반 QA 시스템, 멀티모달 챗봇 등 다양한 응용이 가능하다. 특히, 복잡한 작업 처리 능력과 zero-shot 성능은 특별한 트레이닝 없이도 다양한 음성 작업을 수행할 수 있는 실용적 가치를 제공한다.