LiveEdit: Towards Real-Time Diffusion-Based Streaming Video Editing

Streaming video editing has made rapid progress, yet practical deployment is still limited by two core issues: maintaining stable backgrounds and non-edited regions over time, and achieving the low latency required for real-time interactive scenarios. Meanwhile, recent streaming video generation methods are mostly developed for synthesis and cannot be directly applied to editing due to the strict preservation requirement and region-specific control. In this work, we present a novel streaming video editing framework that performs causal, frame-by-frame editing with strong content preservation and real-time responsiveness. Our key design is a three-stage distillation pipeline that progressively transfers editing capability from a powerful bidirectional foundation model to an efficient unidirectional streaming editor, enabling stable long-horizon edits without sacrificing visual fidelity. To further support real-time deployment, we introduce an AR-oriented mask cache that reuses region-related computation across frames, substantially reducing redundant processing and accelerating inference. Finally, we establish a dedicated benchmark for streaming video editing. Extensive evaluations demonstrate that our method achieves state-of-the-art visual quality among streaming baselines while drastically boosting inference speed to 12.66 FPS, making it suitable for interactive and augmented reality applications.

한 줄 요약

LiveEdit는 실시간 스트리밍 영상 편집을 위한 3단계 디스틸레이션 파이프라인과 AR-마스크 캐시를 결합한 초저지연 편집 프레임워크이다.

핵심 기여도

3단계 디스틸레이션 파이프라인(Foundational Tuning, Teacher Forcing, DMD)을 통해 양방향 Bidirectional DiT 모델의 편집 능력을 4단계 Causal DiT 모델로 이전.
AR-향한 마스크 캐시(Mask Cache)를 도입, Self-Attention 계층의 공간-시간적 중복성을 활용해 인퍼런스 속도를 12.66 FPS로 향상.
스트리밍 영상 편집 전용 벤치마크를 제시하고, 기존 스트리밍 기반 편집 기법 대비 시각적 품질과 처리 속도에서 SOTA 성능 달성.

핵심 아이디어

LiveEdit은 기존 스트리밍 영상 생성 모델이 편집에 적합하지 않은 문제를 해결하기 위해, **Causal한 편집**과 **초저지연**이라는 두 가지 핵심 요구사항을 동시에 충족하는 프레임워크를 제안한다. 기존 디퓨전 모델은 양방향 어텐션을 사용해 시간적 일관성을 유지하지만, 스트리밍 환경에서는 미래 프레임 정보가 없어 불안정한 편집 결과를 유발한다. 이를 해결하기 위해, LiveEdit은 **3단계 디스틸레이션 파이프라인**을 통해 강력한 양방향 모델의 편집 능력을 단순한 일방향 모델로 이전한다.

또한, **AR-향한 마스크 캐시**를 도입하여, 편집되지 않은 배경 영역의 계산을 반복하지 않고 재사용함으로써 **Self-Attention 계층의 공간-시간적 중복성을 활용**한다. 이는 FFN 계층과 달리 Self-Attention이 높은 시간적 일관성을 유지한다는 사실을 기반으로 하며, 이로 인해 인퍼런스 속도가 크게 향상된다.

기술적 접근법

**3단계 디스틸레이션 파이프라인**:

1. **Foundation Tuning**: 양방향 Bidirectional DiT 모델을 사용해 편집 능력을 학습.
2. **Teacher Forcing**: 3프레임 단위로 청크 처리를 위한 Causal DiT로 전환.
3. **DMD (Distribution Matching Distillation)**: 4단계로 압축된 Causal DiT 학습.

**AR-향한 마스크 캐시**:
편집된 출력과 원본 간의 L2 거리 계산을 통해 정확한 편집 마스크 추출.
Self-Attention 계층에 캐시 적용, FFN 계층은 캐시 적용 시 품질 저하 발생.
**하이퍼파라미터 및 수치**:
최종 인퍼런스 속도: 12.66 FPS.
NFE (Network Function Evaluations): 4단계.
인퍼런스 시간 (81프레임): 7.89초.

주요 결과

**스트리밍 영상 편집 벤치마크**에서 기존 기법 대비 시각적 품질과 시간 일관성(SOTA) 달성.
**인퍼런스 속도**: 12.66 FPS (기존 스트리밍 기반 편집 기법 대비 1.6× 이상 가속).
**NFE 수**: 4단계 (기존 100단계 대비 96% 감소).
**마스크 캐시 적용 시**: Self-Attention 계층에서 품질 저하 없이 30% 이상의 계산량 절감.

의의 및 한계

LiveEdit은 실시간 스트리밍 영상 편집의 두 가지 핵심 문제(배경 안정성, 초저지연)를 동시에 해결하며, 기존 디퓨전 모델의 강력한 편집 능력을 실시간 환경에 적합하게 이식한 점에서 학술적·실용적 의의가 크다. 특히, **AR-향한 마스크 캐시**는 공간-시간적 중복성을 효과적으로 활용한 새로운 계산 최적화 전략으로, 향후 스트리밍 영상 처리 분야에 기여할 수 있다.

그러나, 본 연구는 **편집되지 않은 영역에만 적용 가능한 캐시 전략**을 제안했으며, **동적 배경 처리나 복잡한 편집 요구사항**에는 한계가 있을 수 있다. 또한, **편집 마스크 추출 과정에서의 정확도**가 최종 품질에 영향을 미칠 수 있으므로, 이에 대한 추가 연구가 필요하다.

실용적 활용

LiveEdit은 **증강현실(AR)**, **라이브 스트리밍**, **실시간 영상 편집 애플리케이션** 등에서 즉각적인 사용자 피드백이 필요한 상황에 적합하다. 특히, **모바일 기기나 에지 장치**에서 실시간 편집이 필요한 경우, 12.66 FPS의 초저지연 성능과 안정적인 배경 유지 능력이 큰 장점이 된다.