VIS-Ground: Video Interactive Storytelling with Contextual Grounding

Video interactive storytelling enables viewers to actively steer how a video unfolds. However, once we allow viewers to intervene during generation, a new challenge arises: The viewer's request can have latent dependencies on both the grounding source and the current rendered video state. These dependencies may not be explicitly stated in any individual input, but emerge only when the source, rendered history, and new viewer intent are considered jointly. Existing interactive video generation systems primarily emphasize following viewer instructions, while source-grounded video generation methods focus on aligning generated content with an external narrative or knowledge source. This leaves a fundamental question underexplored: What context should a generation model ground on during interactive continuation, and how can heterogeneous, unstructured inputs be transformed into such grounding context? In this work, we formulate contextual grounding as the process of transforming heterogeneous input context into an executable constraint model for video generation. To address this challenge, we introduce VIS-Ground, which performs Structured Context Abstraction to recover grounded states and cross-context dependencies, Generation Constraints Induction to project relevant dependencies into candidate-specific constraints, and Constrained Video Generation to enforce these constraints through planning, verification, revision, and rendering. Across three video generation backbones, VIS-Ground consistently achieves the highest overall composite score, reaching an average absolute improvement of 10.3 points over the strongest per-backbone baselines. Detailed analysis further shows gains across both narrative and knowledge grounding, and reveals remaining challenges in dependency extraction, and faithful realization during video rendering.

한 줄 요약

VIS-Ground는 상호작용적 영상 생성 시 맥락 기반 제약을 통합해 생성 품질을 10.3점 평균 향상시킨다.

핵심 기여도

**Structured Context Abstraction** 모듈을 통해 영상, 스토리, 소스의 상태와 관계를 명시적으로 추출.
**Generation Constraints Induction**을 통해 제안된 미래에 맞는 제약 조건을 도출.
**Constrained Video Generation**을 통해 생성 전후로 검증-수정-렌더링을 반복 적용.
세 가지 영상 생성 백본(Omni-1.1-Flash, Veo 3.1, MiniMax-H3)에서 평균 10.3점의 절대 성능 향상 달성.

핵심 아이디어

기존 시스템은 사용자 요청을 따르거나 외부 소스와 일치시키는 데 집중했지만, VIS-Ground는 **맥락 기반 제약**(contextual grounding)을 중심으로 접근한다. 이는 사용자의 요청이 영상 전사본, 스토리, 외부 소스와 **동시에 상호작용하는 관계**를 반영해야 한다는 문제를 해결하기 위함이다.

VIS-Ground는 이 문제를 **context compilation** 문제로 정의하고, 세 단계로 해결한다:
1. **Structured Context Abstraction**: 영상, 스토리, 소스를 기반으로 **grounded facts**와 **cross-context dependencies**를 추출.
2. **Generation Constraints Induction**: 추출된 관계를 기반으로 **candidate-specific constraints**를 도출.
3. **Constrained Video Generation**: 생성 전후로 **plan–verify–revise–render** 프로세스를 반복 적용해 제약을 준수.

기술적 접근법

**Structured Context Abstraction**: 영상, 스토리, 소스의 상태와 관계를 명시적으로 추출.
**Generation Constraints Induction**: 미래 제안에 따라 필요한 제약을 도출.
**Constrained Video Generation**: **plan–verify–revise–render** 프로세스를 통해 제약을 반복적으로 적용.
**VIS-Bench**라는 새로운 벤치마크를 도입, **narrative- and knowledge-grounded** 설정에서 평가.
**Semantic Metrics (SF, SC, IF, JCS)**와 **Perceptual Metrics (VC, VQ)**로 종합 평가.

주요 결과

**VIS-Ground**는 세 가지 영상 생성 백본에서 평균 10.3점의 절대 성능 향상.
**Omni-1.1-Flash**에서 12.3점, **Veo 3.1**에서 15.3점, **MiniMax-H3**에서 3.4점 개선.
**JCS (Joint Constraint Satisfaction)**에서 88.2점 달성 (베이스라인 대비 +11.7점).
**IF (Interaction Fulfillment)**에서 90.6점 (베이스라인 대비 +10.2점).
**VC (Visual Consistency)**에서 62.4점 (베이스라인 대비 +6.2점).

의의 및 한계

VIS-Ground는 상호작용적 영상 생성에서 **맥락 기반 제약**을 체계적으로 처리하는 첫 시도로, **narrative와 knowledge grounding** 모두에서 성능 향상을 보인다. 특히, **dependency extraction**과 **faithful realization**은 여전히 해결되지 않은 주요 과제로 남아 있다. 또한, **렌더링 과정에서의 불일치**는 제약이 정의되더라도 완벽히 반영되지 않는 한계를 드러낸다.

실용적 활용

VIS-Ground는 **교육용 영상**, **지식 기반 스토리텔링**, **AI 기반 콘텐츠 제작** 등에서 사용자와의 상호작용을 반영하면서도 일관된 맥락을 유지하는 데 활용 가능하다. 특히, **다중 소스 기반 콘텐츠 생성**이나 **실시간 사용자 피드백 반영**이 필요한 시나리오에 적합.

Abstract

한국어 요약