Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios
Hongbo Liu, Peixian Chen, Sihan Liu, Peiyuan Zhang, Kai Zou, Dian Zheng, Xiaoxing Hu, Yuhao Dong, Mengdan Zhang, Yunhang Shen, Haoyu Cao, Wei Liu, Weibo Gu, Xing Sun, Shengjie Zhao
arXiv:2608.25529 · 2026-08-29 공개 · arXiv · PDF
instruction-following video-understanding multimodal-llms constraint-satisfaction video-llm instruction-taxonomy semi-automatic-data task-accuracy
Abstract
Multimodal Large Language Models (MLLMs) have shown strong performance in video understanding. However, their ability to follow instructions in this domain remains under-explored. Real-world video understanding requires models not only to interpret video content correctly, but also to satisfy diverse user-specified constraints. Existing benchmarks focus primarily on task accuracy rather than instruction adherence, leaving this capability insufficiently evaluated. To address this gap, we introduce Video-IFBench, a comprehensive benchmark for evaluating instruction following in video understanding, where models must satisfy diverse user-specified constraints, including those grounded in visual and audio content. We develop an instruction taxonomy with four templates, including single-task, multi-task, selection, and nested instructions, covering 32 task types and 39 manually designed constraint categories spanning both semantic and format requirements. To reduce annotation cost, we build a semi-automatic data construction pipeline that combines MLLMs, programmatic processing, and human verification, resulting in 1.5K samples. We conduct a large-scale evaluation of more than 20 recent MLLMs and show that video instruction following remains challenging for current models, especially for instructions with many constraints, semantic constraints, or complex conditional structures that require selecting the correct branch or path based on video content. We hope our work will facilitate future research on instruction following in video understanding scenarios.
한국어 요약
한 줄 요약
Video-IFBench는 영상 이해 시 사용자 지시사항을 충족하는 다중모달 대형 언어 모델(MLLM)의 능력을 평가하는 새로운 벤치마크이다.
핵심 기여도
- Video-IFBench라는 새로운 벤치마크를 제안, 1.5K 개의 샘플을 포함하며 700개 이상의 영상 데이터를 사용.
- 지시사항 분류 체계를 설계: 단일 작업, 다중 작업, 선택형, 중첩형 지시사항 4가지 템플릿.
- 32개의 영상 이해 작업 유형과 39개의 의미적 및 형식적 제약 조건을 포함.
- LLM-as-Judge와 프로그래밍 검증을 결합한 하이브리드 평가 프로토콜을 제안.
- 20개 이상의 최신 MLLM을 평가하여 최고 모델이 54.5%의 전체 점수를 기록함을 보여.
핵심 아이디어
기존 영상 이해 평가가 주로 작업 정확도에 집중하는 반면, 실제 사용 시 모델이 다양한 사용자 제약을 충족하는 능력은 부족하게 평가되고 있다. Video-IFBench는 이 격차를 메우기 위해 설계된 벤치마크로, 사용자 지시사항을 충족하는 능력을 평가하는 데 초점을 맞춘다. 이는 특히 의미적 제약, 조건부 구조, 다중 제약을 포함하는 복잡한 지시사항을 처리하는 능력을 측정한다. 예를 들어, 요리 튜토리얼 영상에서 재료가 섞인 이후 단계만을 시간 순서대로 설명하는 요청을 처리할 수 있어야 한다. 이는 단순한 정확도를 넘어서, 모델이 사용자의 의도를 정확히 반영하는지 평가하는 핵심 지표이다.
기술적 접근법
- **데이터 구성**: 700개 이상의 영상(총 49시간), 1.5K 샘플.
- **지시사항 템플릿**: 단일 작업, 다중 작업, 선택형, 중첩형.
- **제약 조건**: 39개의 의미적 및 형식적 제약.
- **데이터 생성 파이프라인**: MLLM 기반 정보 추출, 프로그래밍 규칙 기반 지시사항 생성, 인간 검증을 결합한 반자동 방식.
- **평가 프로토콜**: LLM-as-Judge와 프로그래밍 검증을 결합한 하이브리드 체크리스트 기반 평가.
- **메트릭**: TCSR (Task-gated Constraint Satisfaction Rate), TISR (Task-gated Instruction Satisfaction Rate).
주요 결과
- 20개 이상의 최신 MLLM을 평가한 결과, 최고 성능 모델이 전체 점수 54.5%에 그침.
- **Semantic Constraints**와 **Complex Conditional Structures**가 특히 어려움.
- **Selection** 및 **Nested** 지시사항에서 모델이 올바른 분기 선택을 실패하는 비율이 높음.
- **Multi-task** 지시사항에서도 제약 조건을 충족하지 못하는 경우가 다수.
의의 및 한계
Video-IFBench는 영상 이해 분야에서 사용자 지시사항을 충족하는 능력을 체계적으로 평가할 수 있는 첫 번째 벤치마크로, MLLM의 실용성 평가에 중요한 기준을 제공한다. 특히, 의미적 제약과 조건부 지시사항 처리 능력을 평가함으로써, 단순한 정확도 기반 평가의 한계를 보완한다. 그러나 현재 데이터셋은 1.5K 샘플에 그치며, 더 다양한 영상 유형과 문화적 배경을 반영한 확장이 필요하다. 또한, 일부 제약 조건은 프로그래밍적으로 검증하기 어려워 인간 평가에 의존하는 한계가 있다.
실용적 활용
Video-IFBench는 영상 기반 고객 지원, 자동화된 영상 분석, 교육용 콘텐츠 생성 등 사용자 지시사항을 정확히 반영해야 하는 산업 분야에서 모델 평가에 활용될 수 있다. 또한, MLLM의 지시사항 처리 능력을 개선하기 위한 연구와 개발에 중요한 기초 자료가 될 수 있다.