SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation

We introduce Semantic Task Completion Video Generation, an outcome-oriented video generation task. Under this formulation, success requires both achievement of the intended outcome and semantic grounding. Semantic grounding characterizes the correspondence between the reference image and the generated outcome in terms of high-level semantics relevant to the task. Evaluation focuses on the generated outcome and requires neither the presentation of a complete sequence of intermediate task steps nor conventional appearance consistency with the reference image. To support systematic evaluation, we construct SemComp-Data, an evaluation dataset covering six domains. Each instance comprises a reference image, a detailed instruction, a brief instruction, and an outcome-centric video clip. A scalable four-stage curation pipeline converts raw videos into standardized SemComp-Data instances. We further introduce SemComp-Bench, an evaluation protocol that uses a vision-language model (VLM) to answer structured binary questions. SemComp-Bench reports the OA Score and the GR Score for Outcome Achievement and Generation Reliability, respectively. Experiments on representative video generation models show that achieving intended outcomes while maintaining task-relevant semantic grounding in reference images remains challenging.

한 줄 요약

SemComp-Bench는 생성된 동영상이 지시된 결과를 달성하면서 참조 이미지와 의미적 연관성을 유지하는 능력을 평가하는 새로운 벤치마크 프로토콜이다.

핵심 기여도

**Semantic Task Completion Video Generation**이라는 새로운 작업 정의를 제시함.
**SemComp-Data** 데이터셋을 구축함. 4단계 **Candidate Filtering, State Mining, Video Extension, Instruction Structuring**으로 구성된 저비용 파이프라인을 통해 생성됨.
**SemComp-Bench** 평가 프로토콜을 도입함. **OA Score**와 **GR Score**를 통해 **Outcome Achievement**와 **Generation Reliability**를 평가함.
기존 모델이 지시된 작업을 완료하면서 의미적 연관성을 유지하는 데 어려움이 있음을 실험적으로 보여줌.

핵심 아이디어

기존 비디오 생성 모델은 시각적 품질과 시간적 일관성을 중시하지만, 지시된 작업 결과를 달성하면서 참조 이미지와 의미적 연관성을 유지하는 능력은 부족하다. 이를 해결하기 위해, **Semantic Task Completion Video Generation**이라는 새로운 작업 개념을 제시한다. 이 작업은 생성된 동영상이 **고수준 의미적 연관**(semantic grounding)을 유지하면서 지시된 결과를 달성하는 것을 목표로 한다. 예를 들어, 지폐 이미지와 "지폐를 거북이 모양으로 접으세요"라는 지시가 주어졌을 때, 생성된 동영상은 지폐가 거북이 모양의 오리게임으로 변해야 하며, 중간 과정은 필요하지 않다. 이는 기존의 완전한 시퀀스 생성을 요구하는 작업과 구별된다.

기술적 접근법

**SemComp-Data**는 **4단계 curation pipeline**을 통해 구축됨:

1. **Candidate Filtering**: 원시 영상 중 적절한 후보 선정
2. **State Mining**: 참조-결과 프레임의 위치 및 검증
3. **Video Extension**: 결과 중심 클립 추출
4. **Instruction Structuring**: 지시문 생성 및 의미적 제약 정의

**SemComp-Bench**는 **Vision-Language Model (VLM)**을 사용하여 **binary question**에 대한 **evidence-grounded** 판단을 수행함.
평가 지표는 **OA Score** (Outcome Achievement)와 **GR Score** (Generation Reliability)로 구성됨.
OA는 결과 달성과 의미적 연관성을 평가하며, GR는 물리적 위반, 블러, 렌더링 아티팩트 등을 평가함.

주요 결과

실험 결과, 기존 대표적인 비디오 생성 모델은 **지시된 작업을 완료하면서 참조 이미지와 의미적 연관성을 유지하는 데 어려움**이 있음.
**SemComp-Bench**를 통해 **OA Score**와 **GR Score**를 측정했으며, 이는 기존 모델의 한계를 명확히 보여줌.
**SemComp-Data**는 **6개 도메인**을 포함하며, 각 인스턴스는 **참조 이미지, 간략한 지시문, 상세한 지시문, 결과 중심 동영상 클립**으로 구성됨.

의의 및 한계

**SemComp-Bench**는 **결과 달성**과 **생성 신뢰도**를 동시에 평가하는 **첫 번째 벤치마크**로, 모델의 작업 완료 능력과 의미적 일관성을 체계적으로 평가할 수 있음.
**SemComp-Data**는 실제 세계 비디오에서 추출된 **image-text-video triplets**을 통해 **작업 가능성**과 **세부 시각 정렬**을 보장함.
한계로는, **SemComp-Data를 통해 모델 성능을 향상시킬 수 있는지**는 아직 실증적으로 검증되지 않았음. 또한, **VLM 기반 평가가 인간 판단과 얼마나 일치하는지**에 대한 분석도 부족함.

실용적 활용

**SemComp-Bench**는 **비디오 생성 모델의 작업 완료 능력**을 평가하는 데 활용될 수 있으며, 특히 **자동화된 작업 시스템**, **로봇 행동 생성**, **교육용 콘텐츠 생성** 등에서 유용할 수 있음.
**SemComp-Data**는 **작업 중심 비디오 생성 모델의 학습 및 평가**에 활용될 수 있으며, **의미적 일관성**을 유지하면서 **결과 중심 생성**을 요구하는 산업 분야에 적용 가능함.