UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos

Talking-video character replacement requires coordinated transfer of appearance and voice while preserving the source motion, scene, linguistic content, and audio-video timing. Existing methods use separately optimized models for the two modalities, making audio-visual consistency difficult to enforce. We present UniSwap, the first framework for streaming joint audio-visual identity replacement in talking videos. Given a source video, a reference image, and a reference voice clip, UniSwap transfers the reference appearance and vocal timbre within a single audio-visual diffusion transformer while preserving the source content and dynamics. To address the scarcity of aligned cross-identity training pairs, we introduce a swap-and-reconstruct pipeline that removes visual and vocal identity from real clips and uses the original clips as reconstruction targets. Starting from a bidirectional backbone, we progressively adapt the model through In-context Pretraining for joint replacement, Conditional Streaming Adaptation for block-causal KV-cached generation, and Efficient Self-forcing DMD for mitigating exposure bias and reducing sampling from 30 to 3 denoising steps per block. Efficient Multi-LoRA Switching enables the three DMD roles to share a single frozen backbone. Feature-RoPE Decomposition keeps cached positions within the training range, supporting stable long-form inference. Experiments demonstrate strong audio-visual synchronization, competitive identity preservation, efficient streaming, and stable long-form generation.

한 줄 요약

UniSwap은 말하는 영상에서 시각적 외형과 음성을 실시간으로 통합 교체하는 첫 번째 스트리밍 프레임워크이다.

핵심 기여도

UniSwap은 단일 오디오-비주얼 디퓨전 트랜스포머 내에서 외형과 음성을 교체하며, 소스의 움직임과 언어 내용을 보존한다.
Swap-and-Reconstruct 파이프라인을 도입하여 정렬된 교체 훈련 쌍을 생성한다.
Efficient Self-forcing DMD를 통해 블록당 샘플링을 30단계에서 3단계로 줄인다.
Feature-RoPE Decomposition을 통해 장시간 생성 시 교차 모달 타이밍 정렬을 유지한다.

핵심 아이디어

기존 연구는 시각적 외형 교체와 음성 변환을 별도의 모델로 처리하여 오디오-비주얼 일관성을 유지하기 어려웠다. UniSwap은 이 문제를 해결하기 위해 단일 디퓨전 트랜스포머 내에서 외형과 음성을 동시에 교체하는 통합 프레임워크를 제안한다. 이는 In-context Pretraining, Conditional Streaming Adaptation, Efficient Self-forcing DMD의 세 단계 훈련 파이프라인을 통해 구현된다. 특히, Efficient Multi-LoRA Switching을 통해 교사, 생성기, 비판자 세 가지 역할을 공유하는 단일 백본을 유지함으로써 메모리 효율성을 높인다. Feature-RoPE Decomposition은 캐시된 위치 정보를 훈련 범위 내에 유지하여 장시간 생성 시 일관성을 보장한다.

기술적 접근법

**모델**: LTX-2.3 오디오-비주얼 디퓨전 트랜스포머를 기반으로, 비주얼과 오디오를 별도 스트림으로 처리하며, 양방향 교차 모달 어텐션을 사용한다.
**훈련 파이프라인**:

1. **In-context Pretraining**: 소스, 참조, 노이즈 타겟 레이턴트를 결합한 일치된 시퀀스로 학습.
2. **Conditional Streaming Adaptation**: 블록 인과 생성을 위한 Decoupled Streaming Conditioning Mask 적용.
3. **Efficient Self-forcing DMD**: 블록당 샘플링을 30단계에서 3단계로 줄임.

**Efficient Multi-LoRA Switching**: 단일 동결 백본을 공유하여 메모리 효율적 학습.
**Feature-RoPE Decomposition**: 캐시된 특징과 회전 좌표 분리, 장시간 생성 시 일관성 유지.

주요 결과

**Swap-and-Reconstruct 파이프라인**을 통해 정렬된 훈련 쌍을 생성.
**Efficient Self-forcing DMD**를 사용하면 블록당 샘플링을 30단계에서 3단계로 줄여 효율성 향상.
**DINO-S, SIG, BAK, OVRL, SECS** 등 지표에서 Stage 3이 Stage 2 대비 개선됨.
**Feature-RoPE Decomposition**을 제거하면 IQA가 3.741에서 3.208로, DINO-S가 0.595에서 0.491로 저하됨.
**Sync-C**는 PE 오프셋 제거 시 4.620에서 1.738로 감소함.

의의 및 한계

UniSwap은 말하는 영상에서 외형과 음성을 통합 교체하는 최초의 스트리밍 프레임워크로, 오디오-비주얼 일관성과 장시간 생성 안정성을 동시에 달성한다. 특히, Efficient Multi-LoRA Switching과 Feature-RoPE Decomposition은 메모리 효율성과 장시간 추론 안정성 향상에 기여한다. 그러나, 훈련 데이터는 실제 클립에서 정렬된 훈련 쌍을 생성하는 Swap-and-Reconstruct 파이프라인에 의존하며, 이는 완전히 독립적인 신원 교체 데이터셋이 필요하지 않다는 점에서 유리하지만, 완전한 신원 교체 성능은 명시되지 않음.

실용적 활용

UniSwap은 영화 제작, 콘텐츠 로컬라이제이션, 개인화 미디어 제작 등에서 말하는 캐릭터 교체를 실시간으로 수행할 수 있는 기반 기술로 활용 가능하다. 특히, 저지연 스트리밍 환경에서 인터랙티브 작업을 지원하는 데 적합하다.