KeyFrame-Compass: Towards Comprehensive Evaluation of Keyframe-Conditioned Video Generation

Video generation increasingly relies on keyframe-based workflows, where creators specify a sequence of reference images to guide generation. Although recent models support multi-keyframe conditioning, it remains unclear whether they can faithfully reproduce the prescribed keyframes while maintaining overall video quality. We present KeyFrame-Compass, the first comprehensive benchmark for evaluating keyframe-conditioned video generation. The benchmark contains 386 carefully curated samples spanning three application domains, two video structures, two prompt granularities, two conditioning formats, and four keyframe densities, enabling controlled analysis under diverse generation settings. We further introduce an automated evaluation framework that jointly measures keyframe execution and overall video quality. Specifically, we decompose keyframe execution into six complementary metrics covering presence, fidelity, temporal ordering, localization, persistence, and uniqueness, while assessing overall video quality through evidence-grounded MLLM judgments augmented with specialized perception models. Experiments on nine representative video generation systems reveal several fundamental limitations. Current models exhibit a clear trade-off between faithful keyframe execution and natural video synthesis. Their performance further degrades as keyframe constraints become denser and most open-source models also fail to interpret storyboard-grid inputs as temporally ordered keyframe sequences.

한 줄 요약

KeyFrame-Compass는 키프레임 조건을 기반으로 한 동영상 생성 모델의 종합적 평가를 위한 벤치마크를 제시한다.

핵심 기여도

KeyFrame-Compass: 키프레임 조건을 기반으로 한 동영상 생성의 첫 번째 종합적 벤치마크.
386개의 샘플로 구성된 데이터셋: 3개의 응용 분야, 2개의 동영상 구조, 4개의 키프레임 밀도 등 다양한 조건 포함.
키프레임 실행과 전체 동영상 품질을 동시에 평가하는 자동 평가 프레임워크 제안.
9개의 대표 모델 실험 결과: 키프레임 충실도와 자연스러운 동영상 생성 사이의 trade-off 확인.

핵심 아이디어

기존 동영상 생성 모델은 키프레임 조건을 충족하면서 전체 동영상 품질을 유지하는 데 한계가 있었다. KeyFrame-Compass는 이 문제를 해결하기 위해 키프레임 실행을 6개의 메트릭(존재, 신뢰도, 시간적 순서, 위치, 지속성, 유일성)으로 분해하고, MLLM과 전용 인식 모델을 활용해 전체 품질을 평가한다. 이는 키프레임 조건이 동영상 생성에 미치는 영향을 정량적으로 분석할 수 있는 기반을 제공한다.

기술적 접근법

**데이터셋 구성**: 386개 샘플, 3개 응용 분야, 2개 동영상 구조, 4개 키프레임 밀도.
**평가 메트릭**: 키프레임 실행 6개 메트릭 + MLLM 기반 품질 평가.
**조건 형식**: 스토리보드 그리드(storyboard-grid)와 일련의 이미지 시퀀스.
**실험 대상**: 9개의 대표 동영상 생성 모델.

주요 결과

대부분의 모델은 키프레임 밀도가 높아질수록 성능이 감소.
스토리보드 그리드 입력은 대부분의 오픈소스 모델이 시간적 순서를 해석하지 못함.
키프레임 충실도와 동영상 자연스러움 사이에 trade-off 관계가 명확히 나타남.
KeyFrame-Compass는 기존 모델의 한계를 정량적으로 드러내는 데 효과적임.

의의 및 한계

KeyFrame-Compass는 키프레임 조건을 기반으로 한 동영상 생성 모델의 평가 기준을 명확히 정의하고, 다양한 생성 조건에서의 성능을 비교할 수 있는 체계적인 프레임워크를 제공한다. 그러나 모든 키프레임 밀도와 조건 형식을 커버하는 것은 아니며, 모델의 창의성이나 장기적 일관성에 대한 평가도 제한적이다.

실용적 활용

KeyFrame-Compass는 영상 제작, 콘텐츠 자동 생성, 게임 개발 등에서 키프레임 기반 동영상 생성 모델의 성능을 정확히 평가하고 개선 방향을 제시하는 데 활용될 수 있다.