PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

We introduce PerceptionRubrics, a rubric-based evaluation framework that addresses the gap between saturated benchmark scores and real-world brittleness. Shifting evaluation from holistic semantic matching to rigorous atomic auditing, PerceptionRubrics pairs 1,038 information-dense images with over 12,000 instance-specific rubrics. These criteria are derived from golden captions constructed via a novel Circular Peer-Review consensus pipeline and then distilled into a dual-stream system of Must-Right (essential facts) and Easy-Wrong (fine-grained details) rubrics. Crucially, PerceptionRubrics implements a Gated Scoring mechanism: unlike linear averages, failure on mandatory visual facts triggers sharp binary penalties. Extensive evaluation yields critical insights: (1) The Reliability Gap: models often verify fragmented elements correctly yet fail strict conjunctive constraints, exposing brittleness in dense domains; (2) Open-Closed Stratification: contrary to reasoning trends, we reveal a persistent 8% perception deficit between open-source and proprietary frontiers; and (3) Human-Aligned Rigor: our gated metrics substantially out-align conventional benchmarks, validating that strict perceptual fidelity is the prerequisite for reliable generation.

한 줄 요약

PerceptionRubrics는 인간 인지 기준에 맞춘 다모달 평가 프레임워크로, 1,038개의 고밀도 이미지와 10,000개 이상의 루브릭을 기반으로 Gated Scoring을 도입해 기존 벤치마크의 한계를 보완한다.

핵심 기여도

1,038개의 고밀도 이미지와 10,000개 이상의 Must-Right 및 Easy-Wrong 루브릭을 생성하여 세부 인지 평가를 가능하게 함.
Circular Peer-Review 합의 파이프라인을 통해 Golden Captions을 생성, 인간 인지와 일치하는 높은 신뢰도의 기준 마련.
Gated Scoring 메커니즘을 도입하여 Must-Right 루브릭 실패 시 이진적 벌점 부여, 기존 선형 평균 방식과 차별화.
25개 MLLM을 대상으로 실험한 결과, 8%의 Open-Closed Gap과 Human-Aligned Rigor를 확인.

핵심 아이디어

기존 다모달 평가 방식은 전체 의미 일치도에 집중하며, 세부 인지 오류를 포용하는 선형 평가 방식을 사용해 실제 인간 인지와 차이가 있다. PerceptionRubrics는 이 문제를 해결하기 위해, 이미지 캡션 생성이라는 기본 작업을 세부 루브릭 기반의 진단 테스트베드로 전환했다. Golden Captions은 Circular Peer-Review 합의 파이프라인을 통해 생성되며, Must-Right(필수 사실)와 Easy-Wrong(자주 틀리는 세부 사항)으로 분류된다. Gated Scoring은 Must-Right 루브릭 실패 시 이진적 벌점을 부여함으로써, 기존 평가 방식이 오류를 희석하는 문제를 해결한다. 이는 인간 인지가 비선형적이라는 점을 반영한 설계이다.

기술적 접근법

**Circular Peer-Review 합의 파이프라인**: 최신 MLLM들이 반복적으로 캡션을 비판하고 수정한 후, 인간 검증을 통해 Golden Captions 생성.
**Must-Right & Easy-Wrong 루브릭**: Golden Captions에서 추출한 10,000개 이상의 루브릭으로 구성. Must-Right는 필수 시각적 사실, Easy-Wrong은 자주 틀리는 세부 사항.
**Gated Scoring**: Must-Right 루브릭 실패 시 이진적 벌점 부여.
**LLM-as-a-Judge**: GPT-OSS-120B를 사용해 각 루브릭 항목을 평가, True/False로 결과를 반환.
**평가 데이터**: 1,038개의 고밀도 이미지, GUI 등 정보 밀도 높은 도메인 포함.

주요 결과

**Reliability Gap**: 모델은 개별 요소는 정확히 인식하지만, 엄격한 결합 조건을 충족하지 못함.
**Open-Closed Stratification**: 오픈소스 모델(Qwen3.5)과 프로퍼티 모델(Seed-2.0) 간 8%의 지속적 인지 격차.
**Human-Aligned Rigor**: Gated Scoring 기반의 PerceptionRubrics는 기존 벤치마크(DOCCI 등)보다 인간 판단과 더 높은 일치도를 보임.
**평가 안정성**: GPT-OSS-120B와 GPT-5.5를 사용한 반복 평가에서도 모델 순위 일관성 유지, 표준 편차 낮음.

의의 및 한계

PerceptionRubrics는 기존 평가 방식이 인간 인지와 불일치한 문제를 해결하며, 실제 세계에서의 신뢰성 있는 생성을 위한 필수 조건인 엄격한 시각적 정확도를 강조한다. 특히, GUI와 같은 정보 밀도 높은 도메인에서 모델의 취약점을 명확히 드러내는 진단 도구로 활용 가능하다. 그러나, 루브릭 생성 과정에서 인간 검증이 필요하며, Golden Captions 생성에 시간과 비용이 많이 든다는 한계가 있다. 또한, 루브릭 기반 평가가 모든 다모달 작업에 일반화될 수 있는지에 대한 추가 연구가 필요하다.

실용적 활용

PerceptionRubrics는 GUI, 의료 영상, 자동차 시각 인식 등 정보 밀도가 높고 오류 허용이 낮은 분야에서 모델 신뢰도를 평가하는 데 유용하다. 또한, MLLM 개발 과정에서 인지 일관성과 정확도를 향상시키기 위한 진단 도구로 활용 가능하다.