Identity-Preserving Text-To-Video Generation by Frequency Decomposition

Identity-Preserving text-to-video (IPT2V) generation aims to create high-fidelity videos with consistent human identity. It is an important task in video generation but remains an open problem for generative models. This paper pushes the technical frontier of IPT2V in two directions that have not been resolved in the literature: (1) A tuning-free pipeline without tedious case-by-case finetuning, and (2) A frequency-aware heuristic identity-preserving Diffusion Transformer (DiT)-based control scheme. To achieve these goals, we propose ConsisID, a tuning-free DiT-based controllable IPT2V model to keep human-identity consistent in the generated video. Inspired by prior findings in frequency analysis of vision/diffusion transformers, it employs identity-control signals base on frequency domain, since facial features can be decomposed into low-frequency global features (e.g., profile, proportions) and high-frequency intrinsic features (e.g., identity markers that remain unaffected by pose changes). Extensive experiments demonstrate that our frequency-aware heuristic scheme provides an optimal control solution for DiT-based models, making strides towards more effective IPT2V.

한 줄 요약

ConsisID는 주어진 텍스트에 따라 생성된 동영상에서 인물의 정체성을 유지하는 데, 주파수 분해를 기반으로 하는 DiT 기반 컨트롤 방식을 제안한다.

핵심 기여도

**튜닝 없는 DiT 기반 컨트롤 모델** ConsisID를 제안하여, 개별 사례별 미세 조정 없이도 인물 정체성을 유지하는 IPT2V를 가능하게 함.
**주파수 영역 기반 ID 제어 시그널**을 도입하여, 얼굴 특성을 저주파(전체적인 형태)와 고주파(정체성 마커)로 분리하여 주입함.
**계층적 훈련 전략** (CFT, DML, DCL)을 제안하여, 모델의 일반화 능력과 훈련 안정성을 향상시킴.
**추론 단계의 인퍼런스 스텝 수**에 따른 성능 변화를 실험적으로 분석, 최적값은 50단계임을 밝힘.

핵심 아이디어

기존의 DiT 기반 모델은 U-Net과 달리 고주파 정보를 인식하는 데 약점을 가지며, 훈련 수렴도 어려운 것으로 알려져 있다. 이에 따라, 저주파 정보는 훈련을 용이하게 하고, 고주파 정보는 정체성을 유지하는 데 핵심이라는 통찰을 바탕으로, ConsisID는 주파수 분해를 통해 ID 정보를 분리하여 DiT에 주입한다. 저주파 정보는 얼굴의 전체적인 형태(예: 프로필, 비율)를 나타내며, 고주파 정보는 자세 변화에도 영향을 받지 않는 정체성 마커를 포함한다. 이를 통해, DiT가 고주파 정보를 효과적으로 학습하도록 도와주며, 훈련 과정에서 저주파와 고주파 정보를 병렬적으로 처리하는 계층적 훈련 전략을 도입한다.

기술적 접근법

**모델 아키텍처**: ConsisID는 DiT 기반의 컨트롤 모델로, 기존 U-Net 기반 모델과는 구조적으로 차별화됨.
**주파수 분해 기반 ID 제어**:
저주파 정보는 참조 이미지와 얼굴 키포인트를 변환한 후, 입력 노이즈 레이턴트와 결합됨.
고주파 정보는 이중 타워 특징 추출기를 통해 추출되며, 트랜스포머 블록 내 시각 토큰과 통합됨.
**계층적 훈련 전략**:
Coarse-to-Fine Training (CFT): 저주파와 고주파 정보를 단계적으로 학습.
Dynamic Mask Loss (DML): 배경 노이즈 영향 최소화.
Dynamic Cross-Face Loss (DCL): 훈련 집합 외 얼굴의 정확도 향상.
**추론 단계**: 인퍼런스 스텝 수(t)가 50일 때 최적의 생성 품질을 보임.

주요 결과

**ID-Animator 대비 개선**: ID-Animator는 "talking head" 유형의 동영상만 생성 가능하며, ID 보존성이 낮음.
**인퍼런스 스텝 실험**: t=50일 때 최고 품질, t=25에서는 생성 불완전, t=150 이상에서는 얼굴 정보 손실.
**ID 보존성 향상**: ConsisID는 기존 모델 대비 ID 보존성 향상, 특히 고주파 정보를 포함한 얼굴 특성 유지에 효과적.
**계층적 훈련 효과**: DML, DCL 제거 시 훈련 안정성 및 일반화 능력 저하됨.

의의 및 한계

ConsisID는 기존 U-Net 기반 모델의 제한성을 극복하고, DiT 기반 모델에서 ID 보존을 가능하게 하는 첫 사례로, 대규모 사전 학습 모델을 기반으로 튜닝 없이도 효과적인 IPT2V를 구현할 수 있다는 점에서 학술적·실용적 의의가 있다. 또한, 주파수 분석을 기반으로 ID 정보를 분리·주입하는 방식은 새로운 컨트롤 메커니즘으로서의 가능성을 열어준다. 그러나, 현재 실험은 2개의 참조 이미지만 사용하며, 더 많은 데이터를 기반으로 한 실험은 필요하다. 또한, 다양한 얼굴 형태나 자세에 대한 일반화 능력은 추가 연구가 필요하다.

실용적 활용

ConsisID는 콘텐츠 제작, 캐릭터 애니메이션, 개인 맞춤형 영상 생성 등에서 활용 가능하다. 특히, 대규모 사전 학습 모델을 기반으로 튜닝 없이도 생성 가능한 점에서, 개발자나 크리에이터가 빠르게 사용할 수 있는 실용적 도구로 활용될 수 있다.