Visual Aesthetic Benchmark: Can Frontier Models Judge Beauty?

Multimodal large language models (MLLMs) are now routinely deployed for visual understanding, generation, and curation. A substantial fraction of these applications require an explicit aesthetic judgment. Most existing solutions reduce this judgment to predicting a scalar score for a single image. We first ask whether such scores faithfully capture comparative preference: in a controlled study with eight expert annotators, score-derived rankings align poorly with the same annotators' direct comparisons, while direct ranking yields substantially higher inter-annotator agreement on best- and worst-image labels. Motivated by this finding, we introduce the Visual Aesthetic Benchmark (VAB), which casts aesthetic evaluation as comparative selection over candidate sets with matched subject matter. VAB contains 400 tasks and 1,195 images across fine art, photography, and illustration, with labels derived from the consensus of 10 independent expert judges per task. Evaluating 20 frontier MLLMs and six dedicated visual-quality reward models, we find that the strongest system identifies both the best and the worst image correctly across three random permutations of the candidate order in only 26.5% of tasks, far below the 68.9% achieved by human experts. Fine-tuning a 35B-parameter model on 2,000 expert examples brings its accuracy close to that of a 397B-parameter open-weight model, suggesting that the comparative signal in VAB is transferable. Together, these results expose a clear and measurable gap between current multimodal models and expert aesthetic judgment, and VAB provides the first set-based, expert-grounded testbed on which that gap can be tracked and closed.

📋 한 줄 요약

**[멀티모달 평가 / 미적 판단]** 단일 이미지에 스칼라 점수를 매기는 기존 방식 대신, 후보 집합에서 비교 선택을 요구하는 새로운 미적 평가 벤치마크 VAB를 제안하고 최신 MLLM과 전문가 사이의 큰 격차를 정량화.

🎯 핵심 기여도

전문가 8명을 대상으로 한 통제 실험에서 점수 기반 랭킹이 동일 전문가의 직접 비교 랭킹과 잘 일치하지 않으며, 직접 랭킹이 best/worst 라벨에서 훨씬 높은 평가자 간 일치도를 보임을 입증.
미술·사진·일러스트 세 영역에 걸친 400개 과제·1,195장 이미지로 구성된 Visual Aesthetic Benchmark(VAB)를 공개. 과제별 라벨은 10명의 독립 전문 심사위원의 합의로 도출.
20개의 프론티어 MLLM과 6개의 전용 visual-quality reward 모델을 평가하여, 최강 시스템도 후보 순서를 무작위로 3회 섞었을 때 best와 worst를 모두 맞힌 비율이 26.5%에 불과(인간 전문가 68.9%)함을 보고.
35B 모델을 2,000개의 전문가 예제로 파인튜닝하면 397B 오픈웨이트 모델 수준에 근접한 정확도를 달성, 비교 신호의 전이 가능성 시사.

💡 핵심 아이디어

미적 평가의 본질은 절대 점수가 아니라 **비교**이며, 이 비교 신호를 매칭된 주제의 후보 집합 위에서 측정해야 모델 능력과 전문가 능력의 격차를 정직하게 드러낼 수 있다.

🔬 기술적 접근법

**모델/방법론**: 후보 집합 기반 set-based 비교 선택 과제로 미적 평가를 재정의한 벤치마크.
**핵심 기법**: 주제(subject matter)를 통제한 후보 집합 구성, 10명 전문가 합의 라벨링, best/worst 동시 식별 정확도를 세 번의 순서 순열 평균으로 평가, 비교 신호 전이성을 검증하기 위한 35B 모델 fine-tuning.

📊 주요 결과

최강 MLLM: 무작위 순서 3회 모두 best·worst 동시 정답률 26.5% (인간 전문가 68.9%).
35B 모델을 2,000 전문가 예제로 fine-tune하면 397B 오픈웨이트 모델급 정확도 달성.
점수 기반 랭킹은 동일 전문가의 직접 비교 랭킹과 빈약하게 일치하는 반면, 직접 랭킹은 평가자 간 일치도가 훨씬 높음.

💭 의의 및 한계

**의의**: 미적 판단 영역에서 현재 모델과 전문가 사이의 측정 가능한 격차를 드러내며, 그 격차를 추적·축소할 수 있는 최초의 set-based, 전문가 grounded 테스트베드를 제공. **한계**: 주제 매칭된 후보 집합에 국한된 평가이며, 자유 형식의 미적 비평·창작 가이드 같은 더 풍부한 미적 능력은 포착하지 않음.

🚀 실용적 활용

이미지 생성 모델의 미적 품질 보상 모델 학습용 데이터 소스.
큐레이션·콘텐츠 추천 시스템에서 MLLM 기반 미적 판단 컴포넌트의 성능 측정.
모델 fine-tuning이 비교 신호로부터 어떤 미적 능력을 흡수하는지 분석하는 연구 도구.