VIABench: A Comprehensive Video Benchmark Collected from Blind Individuals for Visual Impairment Assistance

Visually impaired individuals (VIIs) encounter significant daily challenges due to limited access to visual information. Although Multimodal Large Language Models (MLLMs) have achieved impressive results on general vision and language tasks, their practical utility in real-world blind assistance still remains largely underexplored. To fill this gap, we introduce VIABench, a comprehensive video benchmark specifically designed to evaluate MLLMs in Visually Impaired Assistance scenarios using first-person videos recorded or shared by VIIs themselves. VIABench defines three core tasks, each targeting a distinct requirement in visual assistance. Proactive Reminder: Assesses the model's ability to interpret ongoing video content while proactively anticipating and verbally describing upcoming navigation-critical events; Visual Question Answering (VQA): Evaluates the model's capacity to answer user-posed questions about the environment or objects within the video; Vision-Guided Interaction: Tests context-aware reasoning to accomplish intentional interactions between user and environment. To ensure a robust and fair evaluation, we propose a rigorous benchmarking pipeline that supports both online (real-time) and offline settings. Our experiments demonstrate that current MLLMs still struggle to deliver comprehensive support for VIIs, especially in the Proactive Reminder task, which demands accurate anticipation and real-time responsiveness. We hope VIABench will drive future research toward developing customized MLLMs for real-world assistance, ultimately improving navigation and interaction experiences for visually impaired individuals. Code and data will be released at https://github.com/MCG-NJU/VIABench.

한 줄 요약

VIABench는 시각 장애인의 일상 지원을 위한 MLLM 평가를 위한 첫 번째 1인칭 영상 벤치마크로, Proactive Reminder, VQA, Vision-Guided Interaction 3가지 핵심 작업을 정의하고 있다.

핵심 기여도

VIABench: 시각 장애인의 1인칭 영상으로 구성된 대규모 비주얼-언어 벤치마크를 제안.
TPAD (Token-Level Prompt Activation Decoding): 실시간 영상에서 프로액티브 알림을 평가하기 위한 2단계 평가 프레임워크를 도입.
MLLM 실험 결과: 현재 MLLM은 Proactive Reminder 작업에서 73.2% 이하의 정확도를 보이며, 실시간 대응 능력이 부족함.
GPT-5 기반 평가 프로토콜: 사실 오류를 포착하는 정확한 평가를 위한 태스크별 기준을 도입.

핵심 아이디어

VIABench는 기존의 시각 장애 지원 영상 데이터셋이 편집된 콘텐츠나 단일 작업 중심이라는 한계를 극복하기 위해, 실제 시각 장애인이 직접 촬영한 1인칭 영상을 기반으로 구성되었다. 이는 MLLM이 실제 사용 환경에서의 복잡성과 동적성을 반영할 수 있도록 한다. 특히, Proactive Reminder 작업은 모델이 사용자에게 명시적인 요청 없이도 위험 요소를 자율적으로 인식하고 경고해야 하므로, 기존의 VQA나 상호작용 작업과는 다른 도전 과제를 제시한다. TPAD는 이러한 작업에서 모델의 실시간 대응 능력을 효율적으로 평가하기 위해 설계된 알고리즘이다. 이는 토큰 수준에서 프롬프트 활성화를 제어하여, 불필요한 출력을 최소화하면서도 중요한 정보를 적절히 전달하도록 유도한다.

기술적 접근법

**VIABench 구성**: 시각 장애인이 직접 촬영한 1인칭 영상, 총 길이와 시간적 다양성이 기존 벤치마크보다 훨씬 높음.
**3가지 핵심 작업**:

1. **Proactive Reminder**: 모델이 영상 흐름을 해석하고, 사용자에게 자율적으로 경고를 전달.
2. **VQA (Visual Question Answering)**: 사용자의 질문에 기반한 시각 정보 해석.
3. **Vision-Guided Interaction**: 사용자의 지시에 따라 반복적인 시각-물리적 상호작용을 지원.

**TPAD (Token-Level Prompt Activation Decoding)**: 2단계 평가 프레임워크로, 실시간 영상에서 모델의 경고 발신 능력을 평가.
**모델 평가 설정**: 오픈소스, 클로즈드소스, 온라인 스트리밍 MLLM 3가지 범주로 평가.
**프레임 샘플링**: TPAD 및 GPT 평가에서는 1 FPS로 샘플링, 나머지 평가는 모델의 기본 설정 사용.

주요 결과

**Proactive Reminder 작업**: 현재 MLLM은 정확도 73.2% 이하로, 실시간 대응 능력이 부족함.
**VQA 작업**: 기존 MLLM이 상대적으로 높은 성능을 보이지만, 실제 시각 장애 환경에서는 제한적임.
**Vision-Guided Interaction**: 반복적 상호작용을 요구하는 작업에서 MLLM의 컨텍스트 이해 능력이 부족함.
**GPT-5 기반 평가**: 사실 오류를 포착하는 정확도를 높이기 위해 태스크별 기준을 도입하여, 기존 유사도 기반 평가 방식보다 신뢰도 높은 결과를 제공.

의의 및 한계

VIABench는 시각 장애인의 실제 사용 환경을 반영한 첫 번째 1인칭 영상 기반 벤치마크로, MLLM의 실용성을 평가하는 데 중요한 기초 자료가 될 수 있다. 특히, TPAD는 실시간 영상에서 모델의 경고 발신 능력을 정확히 평가할 수 있는 기법으로, 기존의 허술한 평가 방식을 개선한다. 그러나 VIABench는 아직 데이터셋의 양적 확장이 필요하며, 다양한 환경과 상황을 반영한 더 많은 영상이 추가되어야 한다. 또한, MLLM이 시각 장애인의 고유한 시점과 의도를 충분히 이해하지 못하는 한계도 존재한다.

실용적 활용

VIABench는 시각 장애인을 위한 인공지능 기반 보조 기술 개발에 활용될 수 있으며, 특히 실시간 경고 시스템, 대화형 시각 인식 도구, 장애물 탐지 및 안내 서비스 등에 적용 가능하다. 이는 시각 장애인의 독립성과 안전성을 향상시키는 데 기여할 수 있다.