Multimodal Hidden Markov Models for Persistent Emotional State Tracking

Tracking an interpretable emotional arc of a conversation via the sentiment of individual utterances processed as a whole is central to both understanding and guiding communication in applied, especially clinical, conversational contexts. Existing approaches to emotion recognition operate at the utterance level, obscuring the persistent phases that characterize real conversational dynamics. We propose a lightweight framework that models conversational emotion as a sequence of latent emotional regimes using sticky factorial HDP-HMMs over multimodal valence-arousal representations derived from simultaneous video, audio and textual input. We evaluate the quality of regime prediction using LLM-as-a-Judge, geometric, and temporal consistency metrics, demonstrating that the sticky HDP-HMM produces more interpretable regime sequences than the baseline Gaussian HMM at a fraction of the computational cost of LLM-based dialogue state tracking methods. In addition, Question-Answer experiments in a clinical dataset suggest that meaningful emotional phases can reliably be recovered from multimodal valence-arousal trajectories and used to improve the quality of LLM responses in unstable affective regimes via context augmentation. This framework thus opens a path toward interpretable, lightweight, and actionable analysis of conversational emotion dynamics at scale.

📋 한 줄 요약

**[감정 인식 / HMM]** 멀티모달 valence-arousal 표현 위에 sticky factorial HDP-HMM을 적용해 대화의 지속적 감정 regime을 추적하는 경량 프레임워크 제안.

🎯 핵심 기여도

기존 감정 인식이 발화 단위로 작동해 실제 대화의 지속적 phase를 잡지 못한다는 한계 지적.
영상·음성·텍스트에서 동시 도출된 valence-arousal 표현 위에 sticky factorial HDP-HMM을 적용한 경량 감정 regime 추적 프레임워크 제안.
LLM-as-a-Judge, 기하·시간 일관성 metric으로 regime 품질을 평가하고 Gaussian HMM 베이스라인보다 해석 가능한 시퀀스를 LLM 기반 dialogue state tracker의 일부 비용으로 달성.
임상 데이터셋의 QA 실험에서 의미 있는 감정 phase 복원과 LLM 응답 품질 개선(컨텍스트 증강) 효과 입증.

💡 핵심 아이디어

대화 감정은 발화 단위 점 sequence가 아니라 지속하는 잠재 regime의 sequence다. sticky factorial HDP-HMM은 regime 지속성과 다요인 표현을 동시에 다루어 해석 가능한 감정 호(arc)를 회복한다.

🔬 기술적 접근법

**모델/방법론**: 영상·음성·텍스트 동시 입력 기반 valence-arousal 표현에 sticky factorial HDP-HMM 적용.
**핵심 기법**: 멀티모달 표현 추출, sticky factorial HDP-HMM으로 지속적 regime 추론, LLM-as-Judge·기하·시간 일관성 지표로 평가, 임상 QA에 context 증강으로 활용.

📊 주요 결과

Gaussian HMM 베이스라인보다 해석 가능한 regime sequence.
LLM 기반 dialogue state tracking의 일부 계산 비용으로 동등 이상의 품질.
임상 데이터에서 unstable affective regime의 LLM 응답 품질 향상.

💭 의의 및 한계

**의의**: 임상 대화 보조 같은 안전 핵심 컨텍스트에서 가볍고 해석 가능한 감정 추적 인프라를 제공. **한계**: HDP-HMM 가정에 따른 표현력 한계, 임상 데이터 규모와 도메인 종속성으로 광범위 일반화는 후속 과제.

🚀 실용적 활용

임상 상담·정신건강 모니터링 보조 시스템의 감정 호 추적.
상담사 훈련 도구의 감정 phase 시각화.
LLM 챗봇의 감정 인지형 context augmentation 모듈.