StreamEval: Evaluating Interactive Streaming Video Generation Models

As streaming video generation advances, enabling real-time interaction with generated video is becoming increasingly important. We introduce StreamEval, a unified benchmark for interactive streaming video generation spanning five tasks: avatar dialogue, avatar performance, world generation, instruction editing, and reference editing. StreamEval comprises 300 scripted test cases lasting 15-300s, each specifying initial assets, incrementally arriving multimodal requests, and explicit requirements for state changes and content preservation. Performance is assessed along four evaluation dimensions: task execution, state consistency, visual fidelity, and audiovisual coordination, instantiated through ten task-specific metrics on a 0-100 scale. Evaluating 37 distinct models across 300 test cases, we find that high visual quality and identity retention do not necessarily coincide with reliable request execution or sustained state consistency. In particular, request execution remains challenging: the highest task-specific scores are 36.90 for Following among seven avatar-performance models, 25.93 for Following in text-conditioned world generation, and 15.00 for Edit Success among three reported reference-editing models. These findings identify reliable request execution under timing and preservation constraints as a central challenge for advancing omni-modal real-time interactive systems. The leaderboard is available at https://streameval.ai

한 줄 요약

StreamEval은 실시간 인터랙티브 스트리밍 영상 생성 모델을 평가하는 통합 벤치마크로, 300개의 스크립트 테스트 케이스와 10개의 태스크별 메트릭을 기반으로 평가한다.

핵심 기여도

StreamEval은 5개의 스트리밍 영상 생성 태스크(아바타 대화, 아바타 연기, 월드 생성, 지시 편집, 참조 편집)를 아우르는 통합 벤치마크를 제시.
300개의 스크립트 테스트 케이스로, 각각 15–300초의 시간 범위에서 다중 모달 요청과 상태 유지 요구사항을 명시.
10개의 태스크별 메트릭(예: Dialogue, Following, Edit Success 등)을 통해 4차원 평가(태스크 실행, 상태 일관성, 시각 품질, 오디오-비주얼 조화)를 수행.
37개 모델 평가 결과, 높은 시각 품질과 ID 유지가 요청 실행이나 상태 일관성과 반드시 연관되지 않음을 밝혀냄.

핵심 아이디어

StreamEval은 단순한 영상 생성을 넘어, 실시간 인터랙션과 상태 유지가 요구되는 스트리밍 영상 생성 시스템을 평가하기 위한 새로운 접근법을 제시한다. 기존 벤치마크는 개별적인 측면(예: 시각 품질, 편집 능력)을 평가했으나, StreamEval은 다중 모달 요청이 실시간으로 도착하는 상황에서의 **태스크 실행**, **상태 일관성**, **시각 품질**, **오디오-비주얼 조화**를 종합적으로 평가한다. 특히, 요청 실행의 신뢰성(예: Following 점수 36.90, Edit Success 15.00)이 기존 모델에서 낮은 수준으로 나타나, 실시간 인터랙티브 시스템의 핵심 도전 과제임을 강조한다.

기술적 접근법

**5개 태스크**: 디지털-휴먼 대화(15개 설정), 아바타 연기(7개), 월드 생성(17개: 12개 텍스트 조건, 5개 이미지 조건), 지시 편집(5개), 참조 편집(3개).
**300개 테스트 케이스**: 각 태스크당 60개, 15–300초 길이, 3회 반복 실행.
**10개 메트릭**: Dialogue, Following, Edit Success(태스크 실행), Stability, Continuity, Preservation(상태 일관성), Quality, Identity, Reference(시각 품질), A–V Sync(오디오-비주얼 조화).
**모델 평가**: Vidu S2 Avatar, MemFlow, JoyAI-Video-Edit 등 37개 모델 평가.
**평가 프로토콜**: 각 테스트 케이스는 초기 자산, 점진적으로 도착하는 다중 모달 요청, 상태 변화 및 콘텐츠 보존 요구사항을 포함.

주요 결과

**아바타 연기**: 7개 모델 중 최고 Following 점수는 36.90.
**월드 생성**: 텍스트 조건에서 최고 Following 점수는 25.93.
**참조 편집**: 3개 모델 중 최고 Edit Success 점수는 15.00.
**아바타 대화**: Vidu S2 Avatar가 Dialogue 점수에서 가장 높은 성능.
**전체 평가**: Vidu S2 Avatar(아바타 연기), MemFlow(월드 생성), Vidu S2 Editing(편집)이 각각 최고 Overall 점수를 기록.

의의 및 한계

StreamEval은 실시간 인터랙티브 영상 생성 모델의 종합적 평가를 가능하게 하며, 특히 요청 실행과 상태 일관성이라는 핵심 도전 과제를 명확히 드러낸다. 그러나 현재까지의 결과는 대부분의 모델이 요청 실행(예: Following, Edit Success)에서 낮은 점수를 기록하고 있어, 실시간 인터랙션의 신뢰성 향상이 필수적이다. 또한, 인간 평가와의 일관성 검증이 필요하며, 다양한 입력 인터페이스와 메트릭 적용 가능성에 대한 추가 연구가 요구된다.

실용적 활용

StreamEval은 챗봇 기반 아바타, 가상 월드 생성, 실시간 영상 편집 등 인터랙티브 영상 생성이 필요한 산업(예: 게임, 콘텐츠 제작, 챗봇 서비스)에 적용 가능하다. 특히, 실시간 요청 처리와 상태 유지가 요구되는 시스템 설계 및 모델 개선에 중요한 기준이 될 수 있다.