OmniAssistBench: Assistant-style Interaction Benchmark for Omni-LLMs

Recent omni-modal large language models (Omni-LLMs) show great potential as real-time video assistants, which continuously perceive environments and guide users to achieve specific goals. Unlike traditional passive video understanding, interactive assistants should actively combine visual states, user goals, and prior knowledge to provide effective help. Evaluating this is rather challenging, as the model's unpredictable response dynamically changes the user's subsequent actions, which static offline datasets cannot accommodate. To address this bottleneck, we introduce OmniAssistBench. To solve the issue of diverging interaction paths where the same user goal can be achieved through various methods, we provide models with predefined priors derived from the source video, requiring them to guide users along the exact same routes. Since real interaction videos are rare, we construct the dataset by reverse-engineering existing Internet videos. We deduce logical user goals and segment the videos into multi-turn clips to simulate continuous interactions. This rigorous pipeline required over 1000 expert person-hours to build the dataset. Results show that the proprietary Gemini-3-Pro reaches 66.4 out of the max point of 100, while the open-source Qwen3-Omni-Instruct achieves 51.2. Although current models generally understand user inputs, they frequently provide incorrect or incomplete answers. Specifically, they struggle with visual prompts (e.g., hand gestures), fail to maintain historical context during multi-turn interactions, and fail to delay response until the target event. Results indicate substantial room for improvement before models can become reliable assistants.

한 줄 요약

OmniAssistBench는 실시간 비디오 어시스턴트로 활용되는 Omni-LLMs의 상호작용 능력을 평가하기 위한 새로운 벤치마크로, 기존 모델들의 시각적 지시, 장기 기억, 지연 응답 등에서 한계를 드러냈다.

핵심 기여도

**OmniAssistBench**라는 새로운 상호작용 중심의 벤치마크를 제안.
**2-tier 평가 프레임워크**를 도입: 기본 티어(기초 인지 능력)와 고급 티어(복합 목표 수행 능력).
**1,000명 이상의 전문가 인력**이 투입된 **역설계 기반 데이터셋 생성 파이프라인**을 제시.
**Gemini-3-Pro (66.4/100), Qwen3-Omni-Instruct (51.2/100)** 등 주요 모델들의 성능을 평가하여 시각적 지시, 지연 응답, 장기 기억 등에서 한계를 밝혀냄.

핵심 아이디어

기존 비디오 분석 벤치마크는 모델의 응답이 사용자의 행동에 영향을 주는 상호작용 시나리오를 반영하지 못한다. OmniAssistBench는 이 문제를 해결하기 위해 **사전 정의된 경로(prior knowledge)**를 기반으로 상호작용을 고정시켜 평가한다. 예를 들어, 사용자의 목표와 비디오 내용에서 도출한 **표준 절차 경로**를 모델에 제공하고, 그 경로를 따라가도록 요구함으로써 **다양한 상호작용 경로의 분기 문제**를 해결한다. 또한, 실제 상호작용 비디오가 희귀하기 때문에, **인터넷 비디오를 역설계**하여 **다중 턴 클립**을 생성해 연속 상호작용을 시뮬레이션한다.

기술적 접근법

**데이터셋 생성**: 인터넷 비디오를 역설계하여 사용자 목표와 경로를 도출하고, **다중 턴 클립**으로 분할.
**평가 프레임워크**: 기본 티어(예: 사회적 관계 이해, 손 동작 인식)와 고급 티어(복합 목표 수행).
**입력 전처리**: 모든 비디오는 원본 해상도(약 1080p) 유지, 1초당 1프레임 샘플링.
**평가 모델**: Gemini-3-Pro, Qwen3-Omni-Instruct 등 9개 모델.
**평가 전략**: **LLM 기반 자동 판정**(GPT-5), 5점 척도, **100점 정규화**.
**컨텍스트 관리**: FIFO 전략으로 모델의 컨텍스트 제한을 준수.

주요 결과

**Gemini-3-Pro**: 66.4/100점 (최대 100점 기준)
**Qwen3-Omni-Instruct**: 51.2/100점
**시각적 지시**(예: 손 동작) 인식 실패율 높음
**지연 응답**(Delayed Response) 실패: 모델이 요청된 시점 전에 무관한 캡션을 생성
**다중 턴 간 정보 유지 실패**: 초기 사용자 목표를 후속 입력에 의해 잊음
**음성 입력 제거 시 일부 모델**(Gemini-3-Pro)의 **Proactive Response 성능 향상** 관찰됨

의의 및 한계

OmniAssistBench는 기존 정적 데이터셋이 반영하지 못하는 **실시간 상호작용 시나리오**를 평가하는 데 중요한 기준을 제공한다. 특히, **사전 정의된 경로 기반 평가**는 모델의 내재적 지식에 의존하지 않고, 실제 사용자와의 상호작용을 시뮬레이션할 수 있다는 점에서 학술적 가치가 높다. 그러나 **역설계 기반 데이터셋**은 실제 사용자 상호작용과의 차이가 있을 수 있으며, **1,000시간 이상의 전문가 작업**이 필요하다는 점에서 확장성에 한계가 있다. 또한, **모델이 음성 입력에 과도하게 반응**하는 문제는 상호작용 시나리오에서의 신뢰도 저하를 초래할 수 있다.

실용적 활용

OmniAssistBench는 **실시간 비디오 어시스턴트**(예: 스마트 홈, 교육, 안전 모니터링) 개발에 활용될 수 있다. 특히, **시각적 지시 인식**, **장기 기억 유지**, **지연 응답** 등의 능력을 평가하여 실제 환경에서의 신뢰도를 높이는 데 기여할 수 있다. 또한, **Open-source 모델**(예: Qwen3-Omni-Instruct)의 개선 방향을 제시하여 연구자들이 모델 성능을 개선하는 데 활용할 수 있다.