Goku: A Million-Scale Universal Dataset and Benchmark for Instruction-Based Video Editing

Existing instruction-based video editing datasets commonly focus on single-task appearance editing, failing to meet the complex creative demands of real-world scenarios. To bridge this gap, we present Goku, a large-scale dataset featuring 2 million high-quality, instruction-aligned video editing pairs, which is the first to extend task boundaries from basic appearance editing to multi-task and structural manipulations(e.g., precise control of subject movement). To tackle the data synthesis challenges inherent in these complex tasks, we design an efficient data synthesis pipeline that decomposes complex edits into controllable sub-problems and introduce a progressive filtering system for data reliability throughout the whole process. Furthermore, we explore the optimal network structures on Goku, and propose Goku-Edit. To deeply comprehend complex editing instructions, Goku-Edit leverages an MLLM as its text encoder and adopts a decoupled dual-branch design: a dedicated mask branch handles structural control, freeing the main branch for appearance rendering. A comprehensive video editing benchmark, Goku-Bench, is also proposed with 1,000 human-verified test cases and 7 novel editing-specific metrics. Evaluated on Goku-Bench, Goku-Edit obtains up to +8% improvement on other open-source models in terms of instruction following.

한 줄 요약

Goku는 200만 개의 고품질 영상 편집 쌍을 포함한 다중 작업 및 구조 조작을 지원하는 대규모 영상 편집 데이터셋과 Goku-Edit, Goku-Bench를 제안한 연구이다.

핵심 기여도

**Goku 데이터셋**: 200만 개의 고품질, 지시문 정렬된 영상 편집 쌍으로, 구조 조작 및 다중 작업 편집을 포함한 최초의 데이터셋.
**Progressive Filtering System**: 데이터 신뢰성을 높이기 위해 설계된 단계별 필터링 시스템을 도입.
**Goku-Edit 모델**: MLLM 기반 텍스트 인코더와 분리된 마스크 분기 구조를 채택한 다중 작업 편집 모델.
**Goku-Bench 벤치마크**: 1,000개의 사람 검증된 테스트 케이스와 7개의 새로운 편집 전용 메트릭을 포함한 평가 기준.

핵심 아이디어

기존 영상 편집 데이터셋은 단일 작업 및 외관 편집에만 초점을 맞추어 실제 세계의 복잡한 요구를 충족하지 못한다. 이를 해결하기 위해, Goku는 **다중 작업**(Multi-Task Edit), **구조 조작**(Camera Movement, Subject Movement), **참조 기반 편집**을 포함한 200만 개의 고품질 영상 편집 쌍을 제공한다. 데이터 생성 과정에서는 **복잡한 편집 지시문을 독립적으로 제어 가능한 하위 문제로 분해**하고, **Gemini2.5-Pro 기반의 단계별 필터링 시스템**을 도입하여 오류 누적을 방지하고 일관성을 유지한다.

Goku-Edit 모델은 **MLLM 기반 텍스트 인코더**를 사용하여 복잡한 편집 지시문을 해석하고, **분리된 마스크 분기**(mask branch)를 통해 구조 조절을 담당하여, 주 분기(main branch)가 외관 렌더링에 집중할 수 있도록 설계되었다. 이는 **RoPE-aligned spatial cross-attention**을 통해 분기 간 정확한 위치 일치를 보장하며, **SpatialCFG**를 도입하여 편집 확장 없이 성능을 향상시킨다.

기술적 접근법

**Goku 데이터셋**: 2,000,000개의 고품질 영상 편집 쌍.
**데이터 생성 파이프라인**:
단순 외관 편집은 VACE 사용.
구조 편집 및 다중 작업은 하위 문제로 분해 후 전문 모델로 처리.
**Progressive Filtering System**: 지시문 정렬, 프레임 간 안정성, 퍼셉티브 광학 사실성 3차원 필터링.
**Goku-Edit 모델**:
**MLLM 기반 텍스트 인코더**.
**분리된 마스크 분기**: 구조 조절.
**RoPE-aligned spatial cross-attention**: 분기 간 정확한 위치 일치.
**SpatialCFG**: 편집 확장 없이 성능 향상.
**Goku-Bench**: 1,000개의 사람 검증된 테스트 케이스, 7개의 새로운 메트릭.

주요 결과

**Goku-Bench에서 Goku-Edit 성능**: 기존 오픈소스 모델 대비 **최대 +8% 개선** (instruction following).
**Progressive Filtering System 효과**: IF (Instruction Following) 0.541 → 0.573, EQ (Editing Quality) 0.612 → 0.643.
**분리된 마스크 분기 효과**: PR (Perceptual Realism) +0.031, SR (Structural Reasoning) +0.033.
**RoPE-aligned spatial cross-attention 효과**: SR 0.789 → 0.819.
**SpatialCFG 효과**: PR +0.020, IF +0.019.
**사용자 연구**: Goku-Edit는 30명의 평가자 중 100개 영상 평가에서 1위를 기록.

의의 및 한계

Goku는 기존 영상 편집 데이터셋의 단일 작업 중심 한계를 극복하고, **구조 조작 및 다중 작업 편집**을 포함한 실제 세계의 복잡한 요구를 반영한 **최초의 대규모 데이터셋**이다. Goku-Edit는 **MLLM 기반 텍스트 인코더와 분리된 마스크 분기**를 통해 복잡한 편집 지시문을 정확히 해석하고, 구조와 외관을 분리하여 처리하는 새로운 접근법을 제시한다. Goku-Bench는 **1,000개의 사람 검증된 테스트 케이스와 7개의 새로운 메트릭**을 통해 모델 평가의 신뢰성을 높인다.

한편, Goku는 **200만 개의 데이터셋**을 기반으로 하지만, **더 많은 데이터 확장을 통한 성능 개선 여지**가 있으며, **실제 사용 환경에서의 일반화 능력**에 대한 추가 연구가 필요하다.

실용적 활용

Goku는 **영상 제작, 콘텐츠 편집, VR/AR 개발** 등에서 사용자의 복잡한 편집 요청을 처리할 수 있는 **고도화된 AI 영상 편집 시스템 개발**에 활용될 수 있다. Goku-Edit는 **복잡한 지시문을 처리하는 영상 편집 모델의 학습 및 평가**에 적합하며, Goku-Bench는 **다양한 편집 작업을 포함한 모델 성능 비교**에 유용한 기준이 될 수 있다.