Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models

Modern AI models achieve strong performance on many established benchmarks, yet they still fail on tasks that humans find almost trivial, such as manipulating a string or drawing a dog with five legs. These examples suggest that existing benchmarks may under-measure persistent blind spots in current systems. We introduce blind-spots-bench, a benchmark designed to expose such blind spots through tasks that appear simple for humans but remain challenging for modern AI. We collect raw questions from students in an AI course, clean and annotate them with structured reference solutions, and propose a task taxonomy tailored to the resulting dataset of 235 samples. We further develop an automated grading pipeline to evaluate a wide range of models, including open-weight and closed-source language, vision-language, and image-generation models. Our analysis on blind-spots-bench reveals that closed-source frontier models can substantially outperform open-weight models with even approx10% gap, even when they attain comparable performance on existing benchmarks. A more fine-grained analysis shows that no single model dominates across all task types, and that some tasks remain challenging for all evaluated models. These results highlight the value of blind-spots-bench as a diagnostic stress test for identifying concrete weaknesses in current modern models.

한 줄 요약

blind-spots-bench는 인간에게 간단하지만 AI에 어려운 235개 문제를 통해 다모달 AI의 약점을 평가하는 벤치마크이다.

핵심 기여도

blind-spots-bench: 인간에게 간단하지만 AI에 어려운 235개 문제로 구성된 새로운 벤치마크.
평가 파이프라인: solver-와 grader-모델을 활용한 자동 평가 시스템 구축.
세부 태스크 분류: 3개 대분류, 12개 소분류로 구성된 태스크 택서노미 제안.
모델 성능 분석: 클로즈드-소스 모델이 오픈-웨이트 모델보다 최대 약 10% 높은 정확도를 보임.

핵심 아이디어

blind-spots-bench는 기존 벤치마크가 포착하지 못한 AI의 지속적인 약점을 진단하기 위해 설계되었다. 이는 인간에게는 간단하지만 AI에 어려운 문제를 중심으로 구성되며, 예를 들어 "5족 개 그림 생성" 또는 "특정 길이의 문자열 생성"과 같은 작업을 포함한다. 이러한 문제는 공간 추론, 논리 일관성, 문자 수준 조작 등 다양한 능력을 평가한다. 본 연구는 이러한 문제를 학생들이 직접 제안하고, 구조화된 참조 솔루션과 함께 정제하여, 신뢰성 있는 평가를 가능하게 했다. 또한, solver-와 grader-모델을 활용한 자동 평가 파이프라인을 통해 38개 모델을 평가함으로써, 모델 간 성능 차이와 약점을 시스템적으로 분석했다.

기술적 접근법

**blind-spots-bench**: 235개의 문제로 구성된 데이터셋. 학생들이 제안한 문제를 정제하고, 참조 솔루션과 태스크 라벨을 추가함.
**평가 파이프라인**: 두 단계로 구성됨. 첫 번째는 solver-모델이 질문에 응답하고, 두 번째는 grader-모델이 이 응답을 참조 솔루션과 비교하여 이진 평가를 수행함.
**grader-모델**: gemini-3-flash 사용. 코드 실행 기능을 통해 정확도를 높임.
**모델 평가**: 32개 LLM/VLM, 6개 이미지 생성 모델을 포함한 총 38개 모델 평가.
**태스크 택서노미**: 3개 대분류(객체 중심, 추상적 추론, 언어 및 지식), 12개 소분류로 구성됨.

주요 결과

**모델 간 성능 차이**: 클로즈드-소스 모델(Gemini, GPT)이 오픈-웨이트 모델(예: GPT-OSS)보다 약 10% 높은 정확도를 보임.
**세부 태스크 성능**:
**미세 시각 인지**: 객체 수세기(41.67%), 패턴 인식(57.14%) 등에서 60% 이하 정확도.
**모델별 강점**: GPT가 산술 추론(88.6%)에서 우수, DeepSeek-V4는 문자 수준 조작(75%)에서 우수.
**모델 크기 확장 효과**: 일부 모델(예: Qwen3.5 122B)에서는 추상적 추론에서 10–14% 성능 저하 발생.

의의 및 한계

blind-spots-bench는 기존 벤치마크가 포착하지 못한 AI의 지속적인 약점을 진단하는 유용한 도구로, 모델 간 성능 차이와 특정 태스크에서의 약점을 명확히 드러낸다. 특히, 클로즈드-소스 모델이 오픈-웨이트 모델보다 높은 정확도를 보이는 점은 모델 평가의 중요성을 강조한다. 그러나 본 연구는 데이터셋 크기가 작고, 특정 모델의 약점을 중심으로 설계된 점에서 한계가 있다. 또한, 인간 기준의 성능 비교를 위해 인간 기준선 추가가 필요하다는 점도 언급된다.

실용적 활용

blind-spots-bench는 AI 모델 개발자들이 모델의 약점을 진단하고 개선 방향을 설정하는 데 활용될 수 있다. 특히, 시각-언어 모델(VLM)과 이미지 생성 모델의 개발 및 평가에 유용하며, 산업 현장에서 모델의 신뢰성과 안정성을 검증하는 데도 활용 가능하다.