Emotion-LLaMA: Multimodal Emotion Recognition and Reasoning with Instruction Tuning

Accurate emotion perception is crucial for various applications, including human-computer interaction, education, and counseling. However, traditional single-modality approaches often fail to capture the complexity of real-world emotional expressions, which are inherently multimodal. Moreover, existing Multimodal Large Language Models (MLLMs) face challenges in integrating audio and recognizing subtle facial micro-expressions. To address this, we introduce the MERR dataset, containing 28,618 coarse-grained and 4,487 fine-grained annotated samples across diverse emotional categories. This dataset enables models to learn from varied scenarios and generalize to real-world applications. Furthermore, we propose Emotion-LLaMA, a model that seamlessly integrates audio, visual, and textual inputs through emotion-specific encoders. By aligning features into a shared space and employing a modified LLaMA model with instruction tuning, Emotion-LLaMA significantly enhances both emotional recognition and reasoning capabilities. Extensive evaluations show Emotion-LLaMA outperforms other MLLMs, achieving top scores in Clue Overlap (7.83) and Label Overlap (6.25) on EMER, an F1 score of 0.9036 on MER2023-SEMI challenge, and the highest UAR (45.59) and WAR (59.37) in zero-shot evaluations on DFEW dataset.

한 줄 요약

Emotion-LLaMA는 멀티모달 감정 인식과 추론을 위해 MERR 데이터셋과 instruction tuning 기법을 결합한 최신 모델로, 다양한 데이터셋에서 뛰어난 성능을 보인다.

핵심 기여도

MERR 데이터셋을 제안하여 28,618개의 coarse-grained, 4,487개의 fine-grained 감정 라벨을 제공.
Emotion-LLaMA 모델을 개발하여 HuBERT, MAE, VideoMAE, EVA 등 멀티뷰 인코더와 instruction tuning을 통합.
EMER 데이터셋에서 Clue Overlap 7.83, Label Overlap 6.25 달성.
DFEW 데이터셋에서 UAR 45.59, WAR 59.37로 GPT-4V 대비 4.37% 개선.

핵심 아이디어

감정 인식은 단일 모달성 접근보다 멀티모달 데이터(음성, 시각, 텍스트)의 통합이 필수적이다. 기존 MLLMs는 특히 음성 처리와 미묘한 얼굴 미표정 인식에 어려움이 있었다. Emotion-LLaMA는 감정 특화 인코더를 통해 멀티모달 정보를 공유 공간으로 정렬하고, instruction tuning을 통해 감정 추론 능력을 강화한다. MERR 데이터셋은 감정 표현의 다양성을 반영하여 모델의 일반화 능력을 향상시킨다.

기술적 접근법

**데이터셋**: MERR는 coarse-grained (28,618)와 fine-grained (4,487) 라벨을 포함.
**모델 구조**: HuBERT(음성), MAE/VideoMAE/EVA(시각) 인코더를 사용.
**Instruction Tuning**: LLaMA-3 기반으로 coarse-grained와 fine-grained 데이터로 훈련.
**성능 향상 요인**: 다중 모달성(음성, 정적/동적 시각) 통합, 시공간 정보 고려.

주요 결과

**EMER**: Clue Overlap 7.83, Label Overlap 6.25 (상위 성적).
**MER2023-SEMI**: F1 0.9036 달성.
**DFEW**: UAR 45.59, WAR 59.37 (GPT-4V 대비 +4.37% 개선).
**MER2024-NOISE**: F1 0.8452, MER2024-OV +8.52% 개선.

의의 및 한계

Emotion-LLaMA는 감정 인식 분야에서 최고 성능을 보이며, 멀티모달 감정 데이터셋과 instruction tuning의 결합 가능성을 입증한다. 특히, 미표정 인식과 음성 톤 분석에서의 정확도 향상은 실용적 활용 가능성을 높인다. 그러나 MERR 데이터셋의 라벨링 과정이나 특정 상황에서의 일반화 능력은 추가 연구가 필요하다.

실용적 활용

교육, 상담, 인간-컴퓨터 상호작용 분야에서 감정 인식 기반 대화 시스템 개발에 활용 가능하다. 특히, 감정이 복잡한 상황에서 정확한 반응을 유도하는 데 효과적이다.