OmniHuman-1: Rethinking the Scaling-Up of One-Stage Conditioned Human Animation Models

End-to-end human animation, such as audio-driven talking human generation, has undergone notable advancements in the recent few years. However, existing methods still struggle to scale up as large general video generation models, limiting their potential in real applications. In this paper, we propose OmniHuman, a Diffusion Transformer-based framework that scales up data by mixing motion-related conditions into the training phase. To this end, we introduce two training principles for these mixed conditions, along with the corresponding model architecture and inference strategy. These designs enable OmniHuman to fully leverage data-driven motion generation, ultimately achieving highly realistic human video generation. More importantly, OmniHuman supports various portrait contents (face close-up, portrait, half-body, full-body), supports both talking and singing, handles human-object interactions and challenging body poses, and accommodates different image styles. Compared to existing end-to-end audio-driven methods, OmniHuman not only produces more realistic videos, but also offers greater flexibility in inputs. It also supports multiple driving modalities (audio-driven, video-driven and combined driving signals).

한 줄 요약

OmniHuman-1은 다양한 조건(오디오, 포즈, 텍스트)을 결합한 확장 가능한 인간 애니메이션 생성 모델로, Diffusion Transformer 기반의 데이터 믹싱 전략을 통해 데이터 확장을 실현한다.

핵심 기여도

OmniHuman-1은 Diffusion Transformer(DiT) 기반의 **혼합 조건 학습 전략**(Omni-Conditions Training)을 도입하여, 단일 조건 모델에서 버려지는 데이터를 재활용함.
**3가지 운동 조건**(텍스트, 오디오, 포즈)을 결합한 학습을 통해, 기존 모델 대비 **더 다양한 입력**(프로트레이트, 반신, 전신)과 **동작 패턴**(발화, 노래, 객체 상호작용)을 지원함.
**50% 포즈 조건 비율**을 기준으로 실험적으로 최적의 학습 비율을 설정하여, **과적합 방지**와 **자연스러운 동작 생성**을 달성함.
**30초 영상 생성 실험**을 통해 레퍼런스 이미지 비율이 **70%일 때** 배경 노이즈 감소와 색상 일관성 향상이 관찰됨.

핵심 아이디어

기존 인간 애니메이션 모델은 데이터 필터링 과정에서 많은 정보를 잃어, 확장성이 제한되었다. OmniHuman-1은 이 문제를 해결하기 위해 **다중 조건**(오디오, 포즈, 텍스트)을 학습 과정에서 결합하는 **Omni-Conditions Training** 전략을 제안한다. 이는 단일 조건 학습에서 버려지는 데이터를 **더 약한 조건**(예: 텍스트) 학습에 재사용함으로써, 전체 데이터셋의 활용도를 높인다.

또한, **강한 조건**(예: 포즈)은 학습 비율을 낮추어 과적합을 방지하고, **약한 조건**(예: 오디오)은 높은 비율로 유지하여 자연스러운 동작 패턴을 학습하도록 설계되었다. 이는 **데이터 믹싱**(data mixing)을 통해 **데이터 확장**과 **모델 일반화 능력 향상**을 동시에 달성하는 핵심 아이디어이다.

기술적 접근법

**모델 아키텍처**: Diffusion Transformer(DiT) 기반의 **혼합 조건 인간 영상 생성 모델**.
**학습 조건**: 텍스트, 오디오, 포즈 3가지 조건을 결합.
**학습 전략**:
**원칙 1**: 강한 조건 학습은 약한 조건 데이터를 활용해 데이터 확장을 가능하게 함.
**원칙 2**: 조건의 강도에 따라 학습 비율을 조절함. 예: 포즈 조건은 50%로 설정.
**추론 전략**: 단일 이미지와 운동 신호(오디오, 영상, 또는 둘 모두)를 입력으로 받아 인간 영상을 생성.
**데이터셋**: 다양한 포즈, 배경, 조명 조건을 포함한 **대규모 영상-텍스트 쌍**을 사용.

주요 결과

**프로트레이트**(face close-up, portrait, half-body, full-body) 및 **다양한 입력 비율**을 지원.
**30초 영상 생성 실험**에서 레퍼런스 이미지 비율 70%일 때, **배경 노이즈 감소**와 **색상 일관성 향상**이 관찰됨.
**포즈 조건 학습 비율 50%**일 때, **과적합 감소**와 **자연스러운 동작 생성**이 가장 우수함.
**오디오-드라이브 모델 대비**, OmniHuman-1은 **더 높은 실감**(realism)과 **입술 동기화**(lip-syncing) 정확도를 달성함.

의의 및 한계

OmniHuman-1은 단일 조건 학습에서 발생하는 데이터 손실 문제를 해결하고, 다양한 운동 조건을 결합한 **확장 가능한 인간 애니메이션 생성 모델**로 기존 연구의 한계를 극복한다. 특히, **오디오-드라이브 모델**에서 발생하는 **입-동작 비정확성**과 **동작 다양성 부족** 문제를 해결하며, **실용적 응용**(예: 가상 캐릭터, 콘텐츠 생성)에 유용한 기반을 제공한다.

그러나, **복잡한 배경**(dynamic background)이나 **다중 인물**(multi-person) 상황에서의 성능은 명시되지 않았으며, **실시간 추론**(real-time inference) 가능성도 언급되지 않았다. 따라서, **실시간 응용**이나 **복잡한 환경**에서의 확장성은 추가 연구가 필요하다.

실용적 활용

OmniHuman-1은 **가상 캐릭터 생성**, **콘텐츠 자동화**, **멀티모달 인터페이스**(예: 음성-영상 기반 챗봇) 등에 활용 가능하다. 특히, **입술 동기화**와 **자연스러운 동작 생성**이 요구되는 **교육, 엔터테인먼트, 콘텐츠 제작** 분야에서 실용적 가치가 높다.