LiveAnimate: Stable Long-Form Streaming Human Animation in Real-Time

Pose-driven human animation synthesizes a video of a target person from a single reference image and a driving pose stream. Real-time generation is essential for interactive applications such as live streaming, telepresence, and virtual avatars, yet diffusion-based systems require minutes to hours per clip, precluding responsive interaction. We present LiveAnimate, to our knowledge the first animation system to combine real-time streaming with stable long-form generation at billion scale, built on a 14B-parameter video Diffusion Transformer (DiT). A two-stage training pipeline first adapts a pretrained bidirectional DiT into a block-causal autoregressive generator through Reference-Anchored Teacher-Forcing Adaptation, and then reduces the sampling budget to three steps through Block-wise Self-Forcing Distillation. To preserve appearance over extended streams, we introduce Pose-Retrieval Sink Attention (PR-Sink), a bounded KV-cache mechanism combining a Static Sink that permanently anchors the first generated block, a Dynamic Sink that holds a pose-retrieved historical block, and a three-slot Rolling Window. When a pose recurs, PR-Sink restores the relevant appearance context without retaining the entire sequence, so memory and per-block latency remain constant regardless of stream duration. Together with Ulysses sequence parallelism and operator fusion, these designs enable 19.63\,FPS streaming inference on two NVIDIA H100 GPUs. On a three-minute benchmark, LiveAnimate maintains nearly constant perceptual quality and identity from the first 30 seconds to the final minute, while prior systems degrade substantially or require hours of offline computation for the same rollout. These results establish a new operating point in quality, latency, and duration for interactive full-body animation.

한 줄 요약

LiveAnimate는 14B 파라미터 DiT 기반으로 실시간 스트리밍과 장시간 안정적 생성을 결합한 첫 번째 인간 애니메이션 시스템이다.

핵심 기여도

14B-parameter video Diffusion Transformer (DiT) 기반으로 19.63 FPS의 실시간 스트리밍 인퍼런스를 달성.
Reference-Anchored Teacher-Forcing Adaptation과 Block-wise Self-Forcing Distillation을 통해 3단계 샘플링으로 훈련 가능.
Pose-Retrieval Sink Attention (PR-Sink)를 도입하여 장시간 스트리밍에서도 외형 일관성을 유지.
3분간 벤치마크에서 IQA 4.047 (기존 4.026 대비 +0.021)로 품질 저하 없이 생성.

핵심 아이디어

LiveAnimate는 기존의 오프라인 기반 디퓨전 모델이 실시간 대응을 어렵게 만드는 문제를 해결하기 위해, **블록-인과적 생성자(block-causal generator)**와 **유계 KV 캐시**(bounded KV-cache) 메커니즘을 결합한 새로운 접근법을 제시한다. 기존의 양방향 DiT를 실시간 생성에 적합한 형태로 변환하기 위해, **Reference-Anchored Teacher-Forcing Adaptation**을 사용하여 훈련 단계에서 블록 단위로 생성 과정을 안정화시킨다. 이후, **Block-wise Self-Forcing Distillation**(BS-DMD)을 통해 샘플링 단계를 3단계로 줄이며, 단일 8×80GB GPU 노드에서도 훈련이 가능하도록 최적화한다. 이는 기존의 Self Forcing 방법과 달리, 전체 생성 그래프를 유지하지 않고 블록 단위로 학습 신호를 전달함으로써 효율성을 높인다.

기술적 접근법

**모델 아키텍처**: 14B 파라미터의 비디오 디퓨전 트랜스포머(DiT)를 기반으로 구축.
**훈련 파이프라인**:
**Stage 1**: Reference-Anchored Teacher-Forcing Adaptation을 통해 양방향 DiT를 블록-인과적 생성자로 변환.
**Stage 2**: Block-wise Self-Forcing Distillation을 통해 샘플링 단계를 3단계로 줄임.
**메모리 최적화**: Pose-Retrieval Sink Attention(PR-Sink)를 통해 Static Sink, Dynamic Sink, Rolling Window를 결합한 유계 KV 캐시 사용.
**하드웨어 최적화**: Ulysses sequence parallelism과 operator fusion을 통해 2×NVIDIA H100 GPU에서 19.63 FPS 달성.

주요 결과

3분간 장시간 벤치마크에서 IQA 4.047 (기존 4.026 대비 +0.021)로 품질 유지.
기존 오프라인 시스템 대비 실시간 성능 향상 (19.63 FPS).
샘플링 단계 3단계로 훈련 가능 (기존 시스템은 20단계 이상 필요).
PR-Sink 제거 시 DINO-S 0.693 (기존 0.818 대비 -0.125)로 품질 급격히 저하.

의의 및 한계

LiveAnimate는 실시간 스트리밍과 장시간 생성을 동시에 달성한 첫 번째 시스템으로, **인터랙티브 애니메이션**(예: 라이브 스트리밍, 텔레프레즌스) 분야에서 새로운 기준점을 제시한다. 특히, PR-Sink와 BS-DMD를 통해 **메모리와 레이턴시가 스트림 길이와 무관하게 일정하게 유지**되며, 기존 오프라인 시스템의 시간 소요 문제를 해결한다. 그러나 현재는 **480×480 해상도**와 **단일 인물만 지원**하며, **멀티 인물 또는 카메라 움직임이 있는 장면**은 처리하지 못한다. 또한, 3단계 샘플링은 시각적 품질에 제한을 초래할 수 있다.

실용적 활용

LiveAnimate는 라이브 스트리밍, 가상 아바타, 원격 협업 등 실시간 인터랙티브 애니메이션이 필요한 산업에 적용 가능하다. 특히, **19.63 FPS의 실시간 성능**과 **3분 이상의 장시간 안정적 생성**은 게임, 콘텐츠 제작, VR/AR 분야에서 실용적 활용 가능성을 높인다.