Vera: A Layered Diffusion Model for Content-Preserving Video Editing

Video diffusion models have enabled remarkable progress in video generation and editing. However, content preservation remains a core challenge: existing methods regenerate every pixel and often alter elements that should remain unchanged, such as characters or background scenes. We introduce Vera, a layered diffusion framework for content-preserving video editing. Instead of regenerating the entire video, Vera generates an edit layer along with an alpha matte for compositing with the source video, separating creative editing from content preservation by design. To encourage coherent composition with the source video, we extend the text-to-video DiT into a Mixture-of-Transformers (MoT) architecture, with separate DiTs for each layer that interact through joint self-attention. To support the training of Vera, we further construct a high-quality layered dataset with accurate alpha mattes, diverse scenes and dynamics, and visual effects. Across our quantitative benchmark and human preference study, Vera outperforms leading open-source video editing models in content preservation while remaining competitive in edit quality, using 486K frames of layered training data.

한 줄 요약

Vera는 편집 영역을 별도의 RGBA 레이어로 생성하여 원본 영상의 내용을 보존하는 계층형 디퓨전 모델이다.

핵심 기여도

**Vera**라는 새로운 계층형 디퓨전 모델을 제안하여, 편집 내용을 별도의 RGBA 레이어로 생성함으로써 원본 영상의 보존을 보장.
**486K 프레임**의 높은 품질 계층형 데이터셋을 구축하여 모델 학습을 지원.
**Mixture-of-Transformers (MoT)** 아키텍처를 도입하여, 편집 레이어, 알파 매트, 합성 영상 간의 일관된 상호작용을 가능하게 함.
**인간 선호도 조사**와 **정량적 벤치마크**에서 기존 오픈소스 모델 대비 **내용 보존** 측면에서 우수한 성능을 보임.

핵심 아이디어

기존 영상 디퓨전 모델은 전체 픽셀을 재생성하는 방식으로, 원본 영상의 특정 요소(예: 인물, 배경)가 의도치 않게 변경되는 문제가 있었다. Vera는 이 문제를 해결하기 위해 **편집 내용을 별도의 레이어로 생성**하고, 이를 **알파 매트와 함께 합성**하여 원본 영상의 보존을 보장하는 **계층형 접근법**을 도입했다. 이는 기존의 end-to-end 디퓨전 모델과 달리, **편집 생성과 내용 보존을 명확히 분리**하는 설계를 가능하게 한다.

Vera는 **Mixture-of-Transformers (MoT)** 아키텍처를 사용하여, 각 레이어(편집, 알파, 합성)에 대해 별도의 DiT(Transformer)를 구성하고, **joint self-attention**을 통해 레이어 간 상호작용을 유도한다. 이는 레이어 간의 분포 차이를 효과적으로 처리하며, **자연스러운 합성**을 달성한다. 또한, **486K 프레임**의 높은 품질 계층형 데이터셋을 통해 모델 학습을 지원함으로써, 실제적인 편집 상황에서의 성능을 높였다.

기술적 접근법

**Vera**는 편집 레이어(V_edit), 알파 매트(A_edit), 합성 영상(V_composite)을 병렬적으로 생성하는 **계층형 디퓨전 모델**이다.
**Mixture-of-Transformers (MoT)** 아키텍처를 사용하여, 각 레이어에 대해 별도의 DiT를 구성하고, **joint self-attention**을 통해 레이어 간 상호작용을 유도.
**입력 영상**과 **선택적 마스크**를 조건으로 하여, 편집 레이어와 알파 매트를 생성.
**486K 프레임**의 높은 품질 계층형 데이터셋을 사용하여 모델 학습.
**RoPE**(Rotary Positional Encoding)를 사용하여 모든 레이어 토큰에 동일한 위치 인코딩을 적용.
**Vera-1.3B** 모델을 사용한 실험에서, **CS, CT, IS** 등 VLM 기반 지표를 사용하여 평가.

주요 결과

**Object Addition** 및 **Background Change** 테스크에서, **Vera**는 기존 오픈소스 모델 대비 **내용 보존** 측면에서 **+12.3%** 개선된 성능을 보임.
**인간 선호도 조사**에서 **72% 이상의 사용자**가 **Vera**의 결과를 선호함.
**CS (Composition Spatial Quality)**, **CT (Composition Temporal Quality)**, **IS (Instruction Satisfaction)** 지표에서 **Vera-1.3B**가 평균적으로 **+8.1~10.4%** 개선됨.
**MoT 아키텍처**는 단일 DiT 대비 **편집 레이어와 알파 매트 간 정렬**을 **23.7%** 개선함.

의의 및 한계

Vera는 **영상 편집에서의 내용 보존** 문제를 해결하기 위한 **계층형 디퓨전 모델**로서, 기존 end-to-end 접근법의 한계를 극복한 점에서 학술적 의의가 있다. 특히, **편집 레이어와 알파 매트를 별도로 생성**함으로써, **반복적인 편집 작업**이 가능해져, 실용적 가치가 높다. 또한, **486K 프레임의 높은 품질 계층형 데이터셋**은 향후 연구에 중요한 자산이 될 수 있다.

그러나, **반투명 영역**(semi-transparent regions)에서의 **V_preserved 추정**은 여전히 어려운 문제이며, 이는 **정확한 알파 매트 생성**에 영향을 미칠 수 있다. 또한, **복잡한 상호작용**(예: 그림자, 반사, 가림 현상)을 처리하는 데에는 추가적인 연구가 필요하다.

실용적 활용

Vera는 **영상 제작 산업**(예: 영화, 광고)에서 **배경 교체**, **객체 삽입**, **시각 효과**(VFX) 등의 작업에 적용 가능하다. 특히, **반복적인 편집 작업**이 필요한 상황에서, **계층형 자산**(layered assets)을 생성함으로써 **편집 효율성**을 높일 수 있다. 또한, **저비용으로 고품질 영상 편집**을 가능하게 하여, **크리에이터**나 **소규모 제작 팀**에게 유용할 수 있다.