Auto-Rubric as Reward: From Implicit Preferences to Explicit Multimodal Generative Criteria

Aligning multimodal generative models with human preferences demands reward signals that respect the compositional, multi-dimensional structure of human judgment. Prevailing RLHF approaches reduce this structure to scalar or pairwise labels, collapsing nuanced preferences into opaque parametric proxies and exposing vulnerabilities to reward hacking. While recent Rubrics-as-Reward (RaR) methods attempt to recover this structure through explicit criteria, generating rubrics that are simultaneously reliable, scalable, and data-efficient remains an open problem. We introduce Auto-Rubric as Reward (ARR), a framework that reframes reward modeling from implicit weight optimization to explicit, criteria-based decomposition. Before any pairwise comparison, ARR externalizes a VLM's internalized preference knowledge as prompt-specific rubrics, translating holistic intent into independently verifiable quality dimensions. This conversion of implicit preference structure into inspectable, interpretable constraints substantially suppresses evaluation biases including positional bias, enabling both zero-shot deployment and few-shot conditioning on minimal supervision. To extend these gains into generative training, we propose Rubric Policy Optimization (RPO), which distills ARR's structured multi-dimensional evaluation into a robust binary reward, replacing opaque scalar regression with rubric-conditioned preference decisions that stabilize policy gradients. On text-to-image generation and image editing benchmarks, ARR-RPO outperforms pairwise reward models and VLM judges, demonstrating that explicitly externalizing implicit preference knowledge into structured rubrics achieves more reliable, data-efficient multimodal alignment, revealing that the bottleneck is the absence of a factorized interface, not a deficit of knowledge.

📋 한 줄 요약

**[Multimodal Alignment / RLHF]** 스칼라·페어와이즈 보상의 한계를 넘어, VLM의 내재 선호 지식을 프롬프트별 명시 루브릭으로 외재화하는 Auto-Rubric as Reward(ARR) 프레임워크와 이를 정책 최적화에 연결하는 RPO를 제안한다.

🎯 핵심 기여도

RLHF 보상 모델링을 암묵적 가중치 최적화에서 명시적 기준 기반 분해로 재구성
VLM의 내재 선호 지식을 프롬프트별 루브릭으로 외재화하는 자동 루브릭 생성 절차 설계
위치 편향 등 평가 편향을 억제하면서 zero-shot·few-shot에서 모두 적용 가능
ARR의 구조화된 다차원 평가를 견고한 이진 보상으로 증류하는 Rubric Policy Optimization(RPO) 제안

💡 핵심 아이디어

인간 판단의 다차원·구성적 구조를 스칼라로 압축하는 대신, VLM이 이미 가진 선호 지식을 프롬프트별 명시 루브릭으로 외재화하면 검증 가능한 품질 차원으로 변환되어 보상 해킹과 평가 편향이 함께 줄어든다.

🔬 기술적 접근법

**모델/방법론**: VLM 기반 자동 루브릭 생성 + 루브릭 조건부 선호 결정으로 정책 최적화
**핵심 기법**: 페어와이즈 비교 전에 프롬프트별 루브릭 외재화, 독립 검증 가능한 차원으로 의도 변환, 루브릭 조건부 이진 보상으로 정책 그래디언트 안정화

📊 주요 결과

텍스트→이미지 생성 벤치마크에서 페어와이즈 보상 모델과 VLM 심판 대비 ARR-RPO 우수
이미지 편집 벤치마크에서도 일관된 성능 향상
위치 편향 등 평가 편향이 명시적으로 억제됨을 정량적으로 입증

💭 의의 및 한계

**의의**: 멀티모달 정렬의 병목이 '지식 부족'이 아닌 '인터페이스 부재'임을 보이고, 해석 가능하고 데이터 효율적인 정렬 경로를 제시한다. **한계**: 루브릭 품질이 베이스 VLM의 선호 표현 능력에 의존하며, 도메인 특수 기준 정의에는 추가 설계가 필요하다.

🚀 실용적 활용

텍스트→이미지·이미지 편집 생성 모델의 정렬 파이프라인
자동 콘텐츠 품질 평가 도구 설계
멀티모달 RLHF 데이터 라벨링 비용 절감