WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video

Producing long-form videos from narration requires interdependent decisions that remain coherent across shots. Existing agentic editors often use multi-stage workflows driven by general models, leaving the quality-cost trade-off of compact, task-adapted policies unclear. We address this gap with WeVisCut, a long-form script-to-video system that connects tool execution with policy learning. Its agent harness maintains shared production state so that tool feedback informs subsequent decisions and repairs. Because finished videos do not expose these decisions, our four-stage data pipeline combines editing inversion with verified replay to turn recovered editing intent into executable supervision. Applied to 3,750 finished videos, this pipeline yields over 130K training examples. We use this supervision to train a single 9B policy that coordinates production and recovers from failures within the same harness. Moreover, we introduce a 100-task benchmark and five metrics assessing editing quality and delivery reliability. Under a shared tool environment, WeVisCut substantially outperforms its base model and achieves comparable performance to Claude Opus 5 while using nearly 33x fewer generated tokens per successful output minute. It also outperforms task-matched native editors on our proposed metrics.

한 줄 요약

WeVisCut은 단일 9B 정책을 통해 스크립트에서 장편 동영상을 생성하는 시스템으로, 130K 개의 학습 예시와 33배 적은 토큰 소비로 Claude Opus 5와 유사한 성능을 달성한다.

핵심 기여도

WeVisCut은 4단계 데이터 파이프라인(Editing Inversion + Verified Replay)을 통해 3,750개의 완성된 동영상에서 130K 개의 학습 예시를 생성한다.
단일 9B 정책을 사용해 생산 및 복구를 통합하며, 런타임 검증된 RFT, Guided-OPD, RCF-DAPO 알고리즘을 활용한다.
100개 태스크 벤치마크와 5개 메트릭을 도입하여 편집 품질과 전달 신뢰도를 평가한다.
Claude Opus 5 대비 약 33배 적은 생성 토큰 소비로 유사한 성능을 달성한다.

핵심 아이디어

WeVisCut은 스크립트에서 장편 동영상으로의 생성 과정에서 발생하는 상호 의존적 결정을 일관되게 유지하기 위해 단일 정책 기반의 에이전트 허브를 설계했다. 기존 시스템은 일반 모델에 의존한 다단계 워크플로우를 사용했지만, WeVisCut은 툴 실행과 정책 학습을 직접 연결함으로써 품질-비용 트레이드오프를 명확히 한다. 핵심 아이디어는 완성된 동영상에서 툴 호출, 중간 아티팩트, 실패 정보를 복구해 실행 가능한 지도 데이터를 생성하는 4단계 파이프라인(Editing Inversion + Verified Replay)에 있다. 이는 기존 시스템이 제공하지 못한 실행 가능한 학습 데이터를 생성하는 데 기여한다.

기술적 접근법

**WeVisCut 에이전트 허브**: 공유된 생산 상태를 유지하며 툴 실행 피드백을 기반으로 후속 결정 및 복구를 지원한다.
**4단계 데이터 파이프라인**: Editing Inversion을 통해 스크립트-샷 의도를 복구하고, Verified Replay를 통해 실행 가능 지도 데이터를 생성한다.
**정책 학습 단계**:
Phase 1: 통합된 SFT와 런타임 검증된 RFT를 통해 툴 사용과 복구를 학습.
Phase 2: Guided-OPD를 사용해 정책 도달 상태에서 복구를 학습.
Phase 3: RCF-DAPO(역할 및 맥락 인자 DAPO)를 통해 역할과 맥락에 따른 최적화 수행.
**학습 데이터**: 3,750개의 동영상 프로젝트에서 130K 개의 예시를 생성.

주요 결과

WeVisCut은 100개 태스크 벤치마크에서 기반 모델 대비 16.0 포인트 개선된 Overall Score를 달성.
Claude Opus 5와 유사한 품질을 유지하면서, 성공적인 출력 분당 약 33배 적은 생성 토큰을 사용.
기존 툴 환경에서 테스크 매칭 네이티브 에디터를 5개 메트릭에서 모두 상회.

의의 및 한계

WeVisCut은 단일 정책 기반의 장편 동영상 생성 시스템으로, 실행 가능한 학습 데이터 생성과 복구 정책 학습을 통합한 점에서 학술적·실용적 의의가 있다. 특히, 9B 정책으로 높은 품질과 낮은 비용을 동시에 달성한 점이 주목할 만하다. 그러나 벤치마크는 100개 태스크에 제한되어 있고, 템플릿 커버리지와 검색 안정성 확대가 필요하다는 한계가 명시된다. 또한, 외부 툴과의 호환성 테스트는 아직 미흡하다.

실용적 활용

WeVisCut은 콘텐츠 제작, 영화 편집, 광고 제작 등 스크립트 기반 장편 동영상 생성이 필요한 산업에 적용 가능하다. 특히, 토큰 비용 절감과 정책의 일관성 유지가 중요한 대규모 자동화 편집 시스템에 유용하다.