Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

In this paper, we propose SpectraReward, a training-free reward function that turns pretrained MLLMs into off-the-shelf reward models for image-generation reinforcement learning. Instead of asking the MLLM to judge a generated image or answer decomposed verification questions, SpectraReward measures how well the original prompt can be recovered from the generated image through a single image-conditioned, teacher-forced forward pass. We use the average image-conditioned prompt log-likelihood as the reward, directly reusing the MLLM's pretrained image-text alignment ability without preference labels, reward-model fine-tuning. We further introduce Self-SpectraReward, a special case for unified multimodal models where the policy's own understanding branch serves as the reward model for its generation branch, forming a closed-loop self-improving framework without external reward models or external knowledge. Extensive experiments validate SpectraReward through a broad image-generation RL study covering two diffusion models, three RL algorithms, nine reward MLLM backbones from four MLLM families spanning 4B to 235B parameters, and five out-of-distribution text-to-image benchmarks. Results show that both SpectraReward and Self-SpectraReward significantly and consistently improve generation performance and outperform prior MLLM-derived reward training methods. Further analysis reveals that larger reward MLLMs are not always better, while Self-SpectraReward can match or surpass much larger external reward models, suggesting that reward-policy alignment is a key factor for effective image-generation RL. Project Page: https://huangrh99.github.io/SpectraReward/

한 줄 요약

SpectraReward는 사전 학습된 MLLM을 사용해 텍스트-이미지 생성의 강화 학습에 즉석 보상 모델을 제공하는 훈련 없는 보상 함수로, Self-SpectraReward를 통해 모델 내부의 이해 분기를 생성 분기의 보상으로 활용한다.

핵심 기여도

SpectraReward는 훈련 없이 MLLM의 이미지-텍스트 정렬 능력을 재사용하여 보상 함수를 생성한다.
Self-SpectraReward는 통합 멀티모달 모델에서 정책의 이해 분기를 생성 분기의 보상 모델로 사용하는 자기 개선 프레임워크를 제시한다.
4B~235B 파라미터를 가진 9개 MLLM, 2개 생성 모델, 3개 RL 알고리즘, 5개 out-of-distribution 벤치마크에서 평가하여 SpectraReward가 기존 방법 대비 +10.0 (TIIF-Bench), +4.3~+5.5 (GenEval) 개선을 보인다.
Self-SpectraReward는 동일 규모 MLLM 대비 4~30배 큰 모델과 유사하거나 더 높은 성능을 보인다.

핵심 아이디어

SpectraReward는 생성된 이미지가 원래 텍스트 프롬프트를 얼마나 잘 재구성하는지를 측정하여 보상으로 사용한다. 이는 이미지 조건이 붙은 MLLM의 단일 teacher-forced forward pass를 통해 평균 프롬프트 토큰 로그-likelihood를 계산하는 방식이다. 이는 MLLM의 이미지-텍스트 정렬 능력을 직접 재사용하며, 선호 라벨이나 보상 모델 미세 조정 없이도 가능하다.

Self-SpectraReward는 통합 멀티모달 모델(UMM)에서 생성 분기의 보상으로 이해 분기를 사용하는 자기 개선 프레임워크이다. 이는 외부 모델이나 지식 없이도 정책이 자신의 이해 능력을 활용해 생성 성능을 향상시키는 방식이다. 이해 분기와 생성 분기가 동일한 토크나이저, 비전 인코더, 사전 학습 분포를 공유하므로, 보상 모델과 정책 간의 분포 정렬이 자연스럽게 이루어진다.

기술적 접근법

**SpectraReward**: 이미지 조건이 붙은 MLLM을 사용해 단일 teacher-forced forward pass를 수행하고, 평균 프롬프트 토큰 로그-likelihood를 보상으로 사용한다.
**Self-SpectraReward**: UMM 내부의 이해 분기를 보상 모델로 활용하며, 외부 모델 없이도 정책이 스스로 개선하도록 설계된다.
**알고리즘**: FlowGRPO, AWM, DiffusionNFT 등 3개 RL 알고리즘을 사용.
**데이터셋**: TIIF-Bench, GenEval, GenEval2, WISE 등 5개 out-of-distribution 텍스트-이미지 생성 벤치마크에서 평가.
**모델**: 4B~235B 파라미터를 가진 9개 MLLM, SD3.5-M, BAGEL 등 2개 생성 모델 사용.

주요 결과

**TIIF-Bench**: BAGEL 기반에서 SpectraReward는 +10.0, Self-SpectraReward는 +4.3 개선.
**GenEval**: SpectraReward는 AlphaGRPO 대비 +6.3, Self-SpectraReward는 +5.5 개선.
**GenEval2**: Self-SpectraReward는 4배 큰 MLLM 대비 +1.2 개선.
**WISE**: Self-SpectraReward는 30배 큰 MLLM 대비 +2 개선.
**모델 크기 효과**: 더 큰 MLLM이 항상 더 나은 성능을 보장하지 않으며, Self-SpectraReward는 외부 보상 모델보다도 유사하거나 더 높은 성능을 보인다.

의의 및 한계

SpectraReward는 훈련 없이 MLLM을 보상 모델로 활용하는 새로운 접근법을 제시하며, Self-SpectraReward는 통합 멀티모달 모델에서 정책의 자기 개선을 가능하게 하여 강화 학습의 효율성을 높인다. 특히, 보상-정책 간의 분포 정렬이 성능 향상에 핵심임을 밝혔다.

한계로는 SpectraReward가 이미지-텍스트 정렬에만 의존하므로, 시각적 창의성이나 예술성과 같은 주관적 요소를 반영하기 어려운 점이 있다. 또한, Self-SpectraReward는 통합 모델에만 적용 가능하며, 외부 모델을 사용하는 경우는 적용 범위가 제한된다.

실용적 활용

SpectraReward는 텍스트-이미지 생성 모델의 강화 학습 과정에서 즉석 보상 모델로 활용 가능하며, 특히 외부 라벨 없이도 보상을 생성할 수 있어 대규모 데이터 수집이 어려운 상황에서 유용하다. Self-SpectraReward는 통합 멀티모달 모델 기반의 생성 시스템에서 자기 개선 프레임워크로 활용할 수 있으며, 모델의 내재적 능력을 최대한 활용하는 데 적합하다.