RULER: Instance-aware Rubric Rewards for SVG Generation

Generating Scalable Vector Graphics (SVG) code from natural-language instructions is an open-ended task without absolute visual ground truth, leaving both evaluation and policy optimization without a faithful signal. Scalar metrics (CLIP, Aesthetic) calibrated on natural images transfer poorly to stylized vector content, and reusing them as RL rewards triggers reward hacking. We address both limitations with rubric-based scoring. We first establish empirically that prompting a vision-language judge with a multi-axis rubric correlates with human judgments far better than scalar metrics, both across samples and within instructions. Building on this finding, we introduce RULER (Instance-aware Rubric Rewards for Reinforcement Learning), which converts each instruction into an instance-aware rubric of six items spanning semantic, visual, and stylistic axes; a judge VLM scores rendered rollouts item-by-item, and the weighted satisfactions form a fine-grained reward optimized via Group Relative Policy Optimization. Because the rubric is derived from text alone, RULER requires neither paired SVG ground truth nor human preference labels. On MMSVG-Illustration and MMSVG-Icon, RULER lifts the rubric score from 0.432/0.395 to 0.693/0.683, surpassing dedicated SVG specialists and matching the substantially larger DeepSeek-V3, with ablations identifying rubric design as the active lever for RL on open-ended SVG generation. The project page is available at https://hangyuran.github.io/RULER/.

한 줄 요약

RULER은 자연어 지시에 기반한 SVG 생성에서 인스턴스별 루브릭 기반 보상으로 생성 품질을 0.432 → 0.693 수준으로 향상시킨다.

핵심 기여도

루브릭 기반 평가가 CLIPScore 등 기존 지표보다 인간 판단과 0.7929의 Spearman 상관도를 보임.
RULER은 GRPO를 통해 인스턴스별 6축 루브릭을 생성하고, Qwen3-8B 기반 모델에서 MMSVG-Illustration/Icon 데이터셋에서 0.432/0.395 → 0.693/0.683 성능 향상.
루브릭 설계가 RL 성능의 핵심 요소임을 실험적 분석(Ablation Study)으로 입증.
DeepSeek-V3보다 뛰어난 Rubric 점수를 달성하면서도 훈련에 SVG ground truth나 인간 라벨 필요 없음.

핵심 아이디어

기존 CLIPScore, Aesthetic Score 등은 자연 이미지에 기반한 지표로, SVG와 같은 벡터 그래픽 생성에 적합하지 않다. 연구자들은 900개의 인간 라벨이 있는 SVG 샘플을 기반으로, 루브릭 기반 평가가 인간 판단과 더 높은 상관도 (Spearman’s ρ 0.7929, Goodman-Kruskal γ 0.7574)를 보인다는 것을 실증적으로 입증했다. 이에 따라 RULER은 각 지시문을 6개 항목(semantic fidelity, visual quality, rendering style 등)으로 구성된 인스턴스별 루브릭으로 변환하고, VLM이 생성된 SVG를 항목별로 평가하여 가중치를 적용한 세부 보상을 생성한다. 이는 정량적이고 명확한 RL 신호를 제공하며, 기존 RL에서 발생하는 reward hacking 문제를 완화한다.

기술적 접근법

**루브릭 생성**: 지시문을 토대로 생성된 6개 항목 (semantic, visual, stylistic)을 포함한 instance-aware rubric.
**평가 모듈**: VLM이 렌더링된 SVG를 항목별로 평가.
**보상 생성**: 각 항목의 점수를 가중치 적용하여 fine-grained reward로 변환.
**최적화 알고리즘**: Group Relative Policy Optimization (GRPO)를 사용.
**훈련 데이터**: MMSVG-Illustration, MMSVG-Icon 데이터셋.
**기반 모델**: Qwen3-8B.
**하이퍼파라미터**: 모든 변형체는 동일한 GRPO 최적화기와 훈련 파라미터 사용.

주요 결과

MMSVG-Illustration 데이터셋에서 Rubric 점수 0.432 → 0.693 (Qwen3-8B 기반).
MMSVG-Icon 데이터셋에서 Rubric 점수 0.395 → 0.683.
DeepSeek-V3보다 높은 Rubric 점수 달성.
Ablation Study에서 rubric design이 RL 성능의 핵심 요소임을 입증.
Rubric-S 변형체는 5개 항목 + 1개 고정 페널티 항목으로 구성됨.

의의 및 한계

RULER은 SVG 생성에서 정량적이고 인간 판단과 높은 상관도를 보이는 평가 및 훈련 시스템을 제시하며, 기존 RL에서 발생하는 reward hacking 문제를 완화한다. 특히, 루브릭이 텍스트만으로 생성되므로, SVG ground truth나 인간 라벨 없이도 확장 가능하다는 점에서 실용적 가치가 크다. 그러나 루브릭 생성 프롬프트의 질이 최종 성능에 영향을 줄 수 있으며, 이는 추가 연구가 필요한 부분이다. 또한, 루브릭 항목 수나 가중치 조정에 따라 성능이 변동한다는 점도 한계로 지적된다.

실용적 활용

RULER은 디자인 자동화, UI/UX 개발, 교육용 콘텐츠 생성 등에서 자연어 기반 SVG 생성을 필요로 하는 산업에 적용 가능하다. 특히, 대규모 SVG 생성 작업에서 인간 라벨 없이도 품질을 유지할 수 있어, 비용 효율적인 자동화 솔루션으로 활용될 수 있다.