InfinityEdit: Infinite Video Editing with a Lightweight Edit-Ignition Adapter

With large pretrained models, existing methods have effectively improved instruction-based video editing. However, most of them rely on an in-place editing assumption. They align the edited video with the given source clip frame by frame over a fixed time span. This pattern fails for open-ended streams, e.g., restyling a live game or applying a camera move to an ongoing shot. In such cases, edits must extend to future frames as they arrive, rather than be applied to a static input clip. In this paper, we study this setting and name it infinite video editing: given a preceding segment and an edit request, a model must generate the next segment that continues the stream while applying the requested edit. This process repeats as an unbounded sequence of edit instructions arrives. This task brings two challenges: the edit must be a faithful continuation rather than a frame-wise rewrite, and generation quality must remain stable as edits accumulate. To address them, we first design a data-collection pipeline for infinite video editing. Based on the collected data, we propose InfinityEdit, a lightweight edit adapter that equips a streaming video generator with unbounded editing ability. The adapter contains three attention modules. History cross-attention guides the denoising frames using the input frames. Temporal causal self-attention keeps temporal cues flowing only from earlier frames to later ones. Edit cross-attention injects the edit request into generation. During inference, the adapter is activated only in the chunk where an edit request arrives. Subsequent chunks are generated by the original model with a reset anchor frame. This scheme applies the edit while preserving the original model's infinite generation ability. Extensive experiments show that InfinityEdit faithfully continues the stream under each edit, and stays stable over unbounded edit sequences.

한 줄 요약

InfinityEdit은 무한 비디오 편집을 위한 경량 편집 어댑터로, 실시간 스트림에 편집을 지속적으로 적용하는 문제를 해결한다.

핵심 기여도

무한 비디오 편집(infinite video editing)이라는 새로운 작업 정의 및 데이터 수집 파이프라인 제안.
InfinityEdit 어댑터는 편집 요청이 도착한 청크에서만 작동하며, 나머지 생성은 원본 모델이 처리함으로써 무한 생성 능력을 유지.
History cross-attention, Temporal causal self-attention, Edit cross-attention 세 가지 어텐션 모듈을 통해 시간적 일관성과 편집 정확도를 동시에 달성.
VBench 메트릭에서 Camera Motion +0.22 개선, Temporal Flickering 최소화로 안정성 입증.

핵심 아이디어

기존 편집 방법은 고정된 시간 범위 내에서 편집을 적용하는 in-place 편집을 가정하지만, 이는 실시간 스트림(예: 라이브 게임 스트리밍)에는 적용되지 않는다. InfinityEdit은 편집 요청이 도착할 때마다 스트림을 지속적으로 확장하면서 편집을 적용하는 무한 편집 문제를 해결한다. 이는 단순히 편집 프롬프트를 변경하는 방식과 달리, 편집이 미래 프레임으로 자연스럽게 이어지는 'faithful continuation'을 요구한다. 또한, 편집이 누적되면서 생성 품질이 저하되는 문제를 해결하기 위해, 어댑터는 편집 요청 청크에서만 작동하고, 나머지 생성은 원본 모델이 처리하도록 설계되었다. 이는 Helios와 같은 스트리밍 생성 모델의 무한 생성 능력을 유지하면서 편집을 적용하는 핵심 아이디어이다.

기술적 접근법

**모델 구조**: InfinityEdit은 스트리밍 비디오 생성기(Helios)에 연결된 경량 편집 어댑터. 어댑터는 다음과 같은 세 가지 어텐션 모듈로 구성됨.
**History cross-attention**: 입력 프레임을 기반으로 새로운 denoising 청크를 조건화.
**Temporal causal self-attention**: 청크 내에서 이전 프레임에서 이후 프레임으로의 시간적 흐름 유지.
**Edit cross-attention**: 편집 요청을 생성 과정에 효과적으로 주입.
**학습 전략**: 편집 어댑터는 history corruption과 two-phase curriculum(편집 적용 → 세부 정제)을 통해 학습됨.
**추론 전략**: 편집 요청이 도착한 청크에서만 어댑터가 작동. 이후 청크는 원본 모델이 reset anchor frame과 sliding history window를 사용해 생성.

주요 결과

**VBench 메트릭**: InfinityEdit은 Camera Motion에서 +0.22 개선, Temporal Flickering 최소화.
**편집 지속성**: 편집 요청이 반복적으로 들어오는 상황에서도 생성 품질이 안정적으로 유지됨.
**무한 생성 유지**: 편집 요청이 없는 청크는 원본 생성 모델이 처리하여 무한 생성 능력 보장.

의의 및 한계

InfinityEdit은 실시간 스트림에서 지속적인 편집을 가능하게 하며, 기존 in-place 편집 접근법의 한계를 극복한다. 특히, 편집 요청이 누적되더라도 생성 품질이 안정적으로 유지되는 점에서 학술적·실용적 가치가 있다. 그러나, 편집 요청이 너무 빈번하거나 복잡한 경우 어댑터의 처리 능력이 한계에 도달할 수 있으며, 이는 향후 연구 주제로 남는다. 또한, 훈련 데이터는 합성된 (source, edit, target) 트리플렛을 기반으로 하므로, 실제 데이터에 대한 일반화 능력은 추가 실험을 통해 검증해야 한다.

실용적 활용

InfinityEdit은 라이브 게임 스트리밍, 실시간 카메라 이동 적용, 지속적인 비디오 편집이 필요한 콘텐츠 제작 환경에 적용 가능하다. 특히, 스트리밍 플랫폼이나 실시간 제작 도구에서 편집 요청을 즉시 반영하면서도 품질을 유지하는 데 유용하다.