AutoRubric-T2I: Robust Rule-Based Reward Model for Text-to-Image Alignment

Aligning Text-to-Image (T2I) generation models with human preferences increasingly relies on image reward models that score or rank generated images according to prompt alignment and perceptual quality. Existing reward models are commonly trained as Bradley-Terry (BT) preference models on large-scale human preference corpora, making them costly to train, difficult to adapt, and opaque in their evaluation criteria. Meanwhile, Vision-Language Model (VLM) judges can provide more fine-grained assessments through textual rubrics, but their manually designed or heuristically generated scoring rules may fail to reliably reflect human preferences. In this paper, we propose AutoRubric-T2I, the first rubric learning framework in T2I that automatically synthesizes and selects explicit rubrics for guiding VLM judges. AutoRubric-T2I first synthesizes reasoning traces from preference pairs into candidate rubrics, then uses a VLM judge to score paired images under each rubric, producing pairwise rubric-score differences for preference learning. To remove noisy and redundant rules, we further employ a ell_1-Regularized Logistic Regression Refiner, which selects the Top-N most discriminative rubrics. Extensive evaluations show that AutoRubric-T2I produces high-quality, interpretable reward signals using less than 0.01% of the annotated preference data, substantially reducing the need for large-scale reward-model training. On image reward benchmarks such as MMRB2, AutoRubric-T2I outperforms strong reward model baselines. We further validate AutoRubric-T2I as an RL reward on downstream T2I tasks, including TIIF and UniGenBench++, where it improves generation quality over scalar reward models using the Flow-GRPO pipeline on diffusion models.

📋 한 줄 요약

**[T2I Reward Model / Auto Rubrics]** AutoRubric-T2I가 preference pair에서 reasoning trace를 자동 합성해 후보 rubric 생성·ℓ1 logistic regression으로 Top-N 선택, 0.01% 미만 annotated data로 강한 reward model baseline 능가·Flow-GRPO 다운스트림에서 생성 품질 향상.

🎯 핵심 기여도

T2I 모델의 human preference 정렬이 prompt 정합·perceptual 품질을 평가하는 image reward model에 의존하지만, Bradley-Terry 기반 reward 학습이 비용·적응성·불투명성 문제를 가짐을 진단.
VLM judge가 textual rubric으로 더 세밀한 평가 가능하나 수작업·휴리스틱 rubric은 human preference 반영의 신뢰성이 떨어짐을 지적.
AutoRubric-T2I 제안 — T2I 분야 최초의 rubric learning 프레임워크로 VLM judge를 가이드할 명시적 rubric을 자동 합성·선택.
Preference pair에서 reasoning trace를 후보 rubric으로 합성 후 VLM judge가 rubric별로 paired image scoring해 pairwise rubric-score difference 생성, ℓ1-Regularized Logistic Regression Refiner로 noisy·redundant rule 제거·Top-N 선택.

💡 핵심 아이디어

T2I reward model은 대규모 preference annotation 없이 preference pair의 reasoning trace로부터 rubric 자체를 자동 합성하고 ℓ1 sparsity로 가장 discriminative한 Top-N을 선택하면, 최소 데이터로 해석 가능·고품질 reward 신호를 만들 수 있다.

🔬 기술적 접근법

**방법론**: AutoRubric-T2I — preference→reasoning trace→rubric 합성 + ℓ1 logistic regression refiner.
**핵심 기법**: (1) Preference pair에서 reasoning trace 합성으로 후보 rubric 생성, (2) VLM judge가 rubric별 paired image scoring으로 pairwise rubric-score difference 산출, (3) ℓ1-Regularized Logistic Regression Refiner로 noisy·redundant rubric 제거, (4) Top-N discriminative rubric 자동 선택, (5) RL reward로 Flow-GRPO diffusion 파이프라인에 통합.

📊 주요 결과

0.01% 미만 annotated preference data로 고품질·해석 가능 reward 신호 생성.
MMRB2 등 image reward 벤치마크에서 강한 reward model baseline 능가.
TIIF·UniGenBench++ 다운스트림에서 Flow-GRPO 파이프라인 적용 시 scalar reward 대비 생성 품질 향상.

💭 의의 및 한계

**의의**: 대규모 preference annotation 의존 탈피, rubric 기반의 해석 가능 reward 신호 자동화, 다운스트림 RL에서도 실효 검증. **한계**: VLM judge 품질에 강하게 의존, rubric 합성 reasoning trace 자체의 신뢰성 문제, T2I 도메인 특화 — video·3D 등 일반화는 후속 과제.

🚀 실용적 활용

T2I·diffusion 모델 RLHF의 저비용 reward.
해석 가능한 image quality 평가.
일반 멀티모달 reward model 자동화 패턴.