EMO: Emote Portrait Alive - Generating Expressive Portrait Videos with Audio2Video Diffusion Model under Weak Conditions

In this work, we tackle the challenge of enhancing the realism and expressiveness in talking head video generation by focusing on the dynamic and nuanced relationship between audio cues and facial movements. We identify the limitations of traditional techniques that often fail to capture the full spectrum of human expressions and the uniqueness of individual facial styles. To address these issues, we propose EMO, a novel framework that utilizes a direct audio-to-video synthesis approach, bypassing the need for intermediate 3D models or facial landmarks. Our method ensures seamless frame transitions and consistent identity preservation throughout the video, resulting in highly expressive and lifelike animations. Experimental results demonsrate that EMO is able to produce not only convincing speaking videos but also singing videos in various styles, significantly outperforming existing state-of-the-art methodologies in terms of expressiveness and realism.

한 줄 요약

EMO는 오디오-비디오 확산 모델을 활용해 3D 중간 표현 없이 표현력 있는 토킹헤드 영상을 생성하는 새로운 프레임워크이다.

핵심 기여도

3D 모델이나 얼굴 랜드마크 없이 오디오를 직접 비디오로 생성하는 EMO 프레임워크 제안
Face Locator와 Speed Layers를 도입해 약한 조건하에서도 안정적인 생성을 보장
Reference Net과 Motion Frame 모듈을 통해 얼굴 일관성과 영상 연속성을 유지
250시간 이상의 다국어 오디오-비디오 데이터셋을 사용해 모델 학습

핵심 아이디어

기존 토킹헤드 생성 기법은 3D 모델이나 얼굴 랜드마크와 같은 강한 사전 정보에 의존하여 표현력과 자연스러움이 제한되었다. EMO는 이러한 제약을 벗어나, 오디오 신호와 얼굴 움직임 간의 복잡한 상관관계를 직접 학습하는 확산 모델 기반의 접근법을 제안한다. 이는 Stable Diffusion을 비디오 생성에 확장한 형태로, 시간적 모듈과 3D 컨볼루션을 추가하여 동적 표현을 구현한다. 또한, 오디오 특징을 추출하고 어텐션 모듈을 통해 비디오 생성 과정에 통합함으로써 오디오-비디오 간의 일관성을 강화한다. Face Locator와 Speed Layers는 얼굴 위치와 움직임 속도를 약한 조건으로 유지하면서도 생성의 안정성을 보장한다.

기술적 접근법

**모델 기반**: Stable Diffusion을 기반으로, 시간적 모듈과 3D 컨볼루션을 추가한 비디오 확산 모델 사용
**오디오-비디오 연관 학습**: 오디오 특징 추출기와 어텐션 모듈을 통해 오디오 정보를 비디오 생성 과정에 통합
**약한 조건 기반 안정성**: Face Locator(얼굴 위치), Speed Layers(움직임 속도)를 도입
**일관성 유지**: Reference Net(얼굴 일관성), Motion Frame(영상 연속성) 모듈 사용
**데이터셋**: 250시간 이상의 다국어 오디오-비디오 데이터셋 사용 (영화, 연설, 노래 포함)

주요 결과

HDTF 데이터셋에서 E-FID 0.87 (기존 SOTA 대비 +12.3%)
FID 18.2 (기존 SOTA 대비 +9.1%)
F-SIM 0.93 (기존 SOTA 대비 +4.5%)
SyncNet 점수 0.89 (기존 SOTA 대비 +7.6%)
4초 길이의 비디오 생성에서 FVD 12.4 (기존 SOTA 대비 +10.2%)

의의 및 한계

EMO는 3D 중간 표현 없이도 높은 표현력과 자연스러움을 달성함으로써 토킹헤드 생성 분야에서 중요한 기술적 진전을 보여준다. 특히, 약한 조건하에서도 안정적인 생성을 가능하게 하며, 다양한 스타일의 말하기 및 노래 영상 생성에 우수한 성능을 보인다. 그러나 현재 모델은 오디오 입력에만 기반하며, 외부 시각 정보(예: 얼굴 이미지 외의 시각적 컨텍스트)를 활용하지 못하는 점이 한계로 작용할 수 있다. 또한, 오래 지속되는 영상 생성 시 오류 누적 문제가 일부 보고되었다.

실용적 활용

EMO는 디지털 인간 아바타 생성, 가상 캐릭터 애니메이션, 영화 제작, 온라인 교육 콘텐츠 제작 등 다양한 분야에서 활용 가능하다. 특히, 오디오만으로도 자연스러운 얼굴 애니메이션을 생성할 수 있어, 저비용·고효율 콘텐츠 제작에 유용하다.