Explicit Layer Modeling for Video Object Insertion and Layer Decomposition

Most video editing systems still lack explicit layered video representations, limiting their ability to perform realistic compositing, object reuse, and consistent manipulation. This limitation is especially pronounced in video object insertion and video layer decomposition, where existing methods rely on implicit inference or per-scene optimization due to the absence of explicit foreground-layer supervision. We introduce TriLayer, a large-scale triplet video dataset containing aligned composite, background, and foreground videos, where the foreground layers include both object appearance and associated visual effects. This explicit supervision enables models to learn layered video representations directly rather than inferring them implicitly. Building on this dataset, we propose DBL-Diffusion, a dual-branch diffusion framework that jointly models RGB composites and RGBA foreground layers through shared denoising and cross-branch interaction. We instantiate the framework in two tasks: DBL-Insert for layered object insertion, which generates explicit RGBA layers for realistic compositing and flexible post-editing, and DBL-Decompose for video layer decomposition, which recovers foreground and background layers using triplet supervision. Experiments demonstrate that explicit layer modeling substantially improves both insertion fidelity and decomposition quality.

한 줄 요약

TriLayer 데이터셋과 DBL-Diffusion을 기반으로 영상의 레이어 구조를 명시적으로 모델링하여 객체 삽입과 분해 성능을 향상시킨다.

핵심 기여도

TriLayer: 대규모 트리플렛 영상 데이터셋을 소개, 복합 영상, 배경, 전경 레이어 간의 명시적 대응 관계를 제공.
DBL-Diffusion: RGB와 RGBA 레이어를 동시에 모델링하는 이중 분기 확산 프레임워크를 제안.
DBL-Insert: 명시적 RGBA 레이어 생성을 통해 실제적 삽입과 유연한 편집을 가능하게 함.
DBL-Decompose: 트리플렛 감독을 활용한 영상 레이어 분해 성능 개선.

핵심 아이디어

기존 영상 편집 모델은 명시적인 레이어 구조(전경, 배경, 복합)를 학습하지 못해 실제적 삽입과 분해가 어려웠다. 본 연구는 TriLayer 데이터셋을 통해 이러한 레이어 구조를 명시적으로 학습할 수 있도록 했다. 특히, 전경 레이어는 객체 외에도 그림자, 반사 등 물리적 효과를 포함하여 실제적인 복합 영상 생성이 가능하다는 점에서 차별화된다. DBL-Diffusion은 이중 분기 확산 모델을 통해 RGB와 RGBA 레이어를 동시에 학습하며, 공유된 디노이징과 분기 간 상호작용을 통해 레이어 구조를 정확히 모델링한다.

기술적 접근법

**TriLayer 데이터셋**: 대규모 트리플렛 영상 데이터로, 복합 영상, 배경, 전경 레이어 간의 명시적 대응 관계를 포함.
**DBL-Diffusion**: 이중 분기 확산 프레임워크로, RGB와 RGBA 레이어를 동시에 모델링. 공유된 디노이징과 분기 간 상호작용을 통해 레이어 구조를 학습.
**모델 구현**:
DBL-Insert: 명시적 RGBA 레이어 생성을 위한 삽입 모델.
DBL-Decompose: 트리플렛 감독을 기반으로 복합 영상에서 전경과 배경을 분해.
**학습 설정**: Wan2.1-VACE-1.3B를 기반으로 AdamW 최적화, 학습률 1×10⁻⁴, LoRA(랭크 128)와 DoRA(랭크 32) 적용.

주요 결과

**DBL-Insert**: 삽입된 객체의 실제성과 유연한 편집 가능성을 제공.
**DBL-Decompose**: 기존 방법 대비 분해 정확도 향상.
**영상 해상도**: 480×832, 81프레임.
**샘플링 스텝**: 50단계.
**학습 에포크**: 3회.
**성능 개선**: 명시적 레이어 모델링을 통해 삽입 신뢰도와 분해 품질이 현저히 향상됨.

의의 및 한계

TriLayer는 영상 레이어 구조를 명시적으로 학습할 수 있는 최초의 데이터셋으로, 영상 이해와 편집 분야에 중요한 자원을 제공한다. DBL-Diffusion은 이중 분기 확산 모델을 통해 레이어 구조를 정확히 모델링하여 삽입과 분해 성능을 향상시켰다. 그러나 복잡한 물리적 상호작용과 고속 움직임을 처리하는 데 어려움이 있으며, 이중 분기 구조는 계산 및 메모리 오버헤드를 유발한다.

실용적 활용

TriLayer와 DBL-Diffusion은 영상 편집, 객체 재사용, 배경 교체 등 다양한 영상 제작 분야에 적용 가능하다. 특히, 실제적 삽입과 유연한 편집이 요구되는 콘텐츠 제작 및 VFX 산업에서 활용도가 높다.