RULER：面向 SVG 生成的实例感知评分标准奖励

开放式 SVG 代码生成没有绝对视觉真值，现有标量指标既评不准，拿来做强化学习奖励还会被刷分。

• 场景：作者认为，从自然语言直接生成可渲染的 SVG 是视觉代码合成的基本问题。同一条指令可对应无数语义合法的渲染结果，因此没有可作标准参考的绝对视觉真值，评测与策略优化都缺少忠实信号。
• 现有方法不足：作者称 CLIPScore、美学分类器和 Human Preference Score 在写实自然图像上标定，迁移到风格化矢量内容时表现差；Figure 1 中它们给破损 SVG 的分数高于忠实 SVG。监督微调被作者视为对数据集模板的行为克隆，泛化失败。用上述不可靠指标做 RL 奖励时，策略会偏向最容易被抬高的信号（reward hacking）。
• 核心观察：作者用 900 条人工标注样本比较后认为，让视觉–语言模型按多轴量表给渲染结果打分，与人工判断的相关性高于标量指标，样本级 Spearman ρ 为 0.7929，成对排序 Goodman-Kruskal γ 为 0.7574。
• 本文提出：RULER（Instance-aware Rubric Rewards for Reinforcement LEaRning）把每条指令变成六项实例量表，覆盖语义、视觉与风格，由评审 VLM 逐项打分，加权满意度经 Group Relative Policy Optimization 优化。量表只从文本生成，不需要配对 SVG 真值或人工偏好标签。

作者把相关工作分成 SVG 代码生成，以及量表评测与奖励。

SVG 代码生成

• 路径优化到自回归生成：Li et al. (2020)、Jain et al. (2023)、Xing et al. (2024) 做基于优化的路径追踪；Yang et al. (2025b)、Li et al. (2025)、Rodriguez et al. (2025a) 做自回归、面向图元的生成。
• 渲染感知强化学习：Rodriguez et al. (2025b) 直接相对渲染图像优化策略。作者称，没有配对真值时如何打分仍未解决。
• 奖励范式对比（Table 1）：像素指标 SSIM/PSNR（Wang et al., 2004）需要配对参考且只有单一标量；规则信号如代码长度（Rodriguez et al., 2025b）不看渲染图；CLIPScore（Hessel et al., 2021）无需参考但粒度粗，且在 RL 下容易被博弈（Rodriguez et al., 2025b）；通用量表（He et al., 2026；Rodriguez et al., 2026）提供多维反馈，但忽略指令特定的正确性。

量表评测与奖励

• LLM-Rubric：Hashemi et al. (2024) 提出用于校准的多方面评测，不依赖辅助奖励模型。
• 量表作 RL 奖励：RaR（Gunjal et al., 2025）与 RGR-GRPO（Bi et al., 2025）把量表分数直接当作文本任务（指令遵循、推理）的 RL 奖励。作者称 RULER 把这一路线扩展到开放式视觉代码，并用 VLM 对渲染 SVG 按实例量表打分，且构建量表时不需要真值 SVG。

基线与基准

• 基线方法：扩散优化方法 VectorFusion、SVGDreamer；基础模型 Qwen3-8B、Qwen3-32B、DeepSeek-V3；SVG 专用模型 IconShop、JanusCoder-8B、OmniSVG-8B。RL 对照为 Zero-Shot、C+A+H RL（CLIP、Aesthetic、HPS 加权）和 Universal Rubric RL。
• 基准/数据集：MMSVG-Illustration、MMSVG-Icon（Yang et al., 2025b）；人工偏好用 MMSVG-Bench。指标还包括 CLIP、Aesthetic、HPS 与每样本 token 数。

作者将 RULER 定位为同时满足无需参考、多维、视觉接地且按实例条件化的量表奖励，用以补上 Table 1 中既有奖励各自缺少的条件。

RULER 把开放式 SVG 生成写成 token 级 MDP，奖励来自仅由文本指令生成的六项实例量表，再经 GRPO 优化策略。

任务设定

• MDP：给定指令 Q，策略 πθ 自回归生成 SVG 序列 Y。状态 st 为 (Q, y<t)，动作 at 为下一 token，转移确定。渲染引擎 E 得到 Igen = E(Y)，奖励 R 在图像上计算。作者称没有绝对视觉真值时，R 的设计比优化器更关键。目标是最大化期望奖励。
• 人工对齐检验：收集 Claude-Opus-4.6、Qwen3-32B、Qwen3-8B 各 300 条、共 900 条渲染样本，按附录 D.1 做人工质量评分，比较样本级 Spearman ρ 与三元组内成对排序的 Goodman-Kruskal γ。

实例量表生成

• 生成方式：前沿模型 Mrub（文中例为 Claude-Opus-4.6）只读未标注指令 Q，产出六项离散量表。形式为 CQ = {(ck, wk)}，k 从 1 到 6；ck 含标题、描述与连续评分指南，wk 为权重。完整描述、权重与提示词在附录 H。
• 三条轴：Semantic Fidelity（概念可读性、主要部件与提示特定关系）；Visual Quality（轮廓与造型、构图与画布）；Rendering Style（渲染完成度与干净程度、风格统一与视觉趣味）。条目写在设计意图层面，而非精确像素或路径约束，以免变成重建清单。
• 设计约束：每项只针对一个可从渲染图独立判断的轴，并惩罚一种不同的失败。

奖励与 GRPO

• 逐项打分：评审 VLM Mjudge 按 CQ 对 Igen 独立给出 sk ∈ [0, 1]。奖励为归一化加权平均 R(I_gen)=∑_k=1⁶ w_k s_k / ∑_k=1⁶ w_k。
• 组内优势：对每条指令从旧策略采样 G 个 rollout，渲染并打分后，优势为组内均值–标准差归一化：Ai = (Ri − mean) / (std + ε)。更新使用序列级重要性比 ρi 的截断替代目标 LGRPO。作者称同组样本在不同条目上成败不均，组内奖励多样性适合 GRPO。

评测用的通用量表

• 与训练量表分开：主表的 Rubric 由 GPT-5-mini 按一份共享的通用量表给渲染 SVG 打分，作者将其作为整体质量的主要指标。CLIP、Aesthetic、HPS 与每样本 token 数保留作对照。训练奖励用的是按指令生成的实例量表，不是这份通用量表。

实验设置

• 被测模型与基线：扩散优化 VectorFusion、SVGDreamer；基础模型 Qwen3-8B、Qwen3-32B、DeepSeek-V3，稳健性实验另有 Qwen3-4B；专用模型 IconShop、OmniSVG-8B、JanusCoder-8B。RULER 默认骨干为 Qwen3-8B。量表生成默认 Claude-Opus-4.6，另测 GPT-5.5。人工相关性用 Claude-Opus-4.6、Qwen3-32B、Qwen3-8B。
• 基准：MMSVG-Illustration（更丰富的插画）与 MMSVG-Icon（紧凑图标），出处 Yang et al. (2025b)。论文未在正文给出两条基准的样本条数。人工偏好在 150 条 MMSVG-Bench 提示上做盲测两两比较。指标与人工对齐用 900 条渲染样本（三模型各 300）、300 个评测三元组。
• 指标：CLIP、Aesthetic、HPS、通用 Rubric、每样本 Tokens。通用 Rubric 由 GPT-5-mini 按共享通用量表打分，作者视其为主要质量指标。人工对齐指标为 Spearman ρ 与 Goodman-Kruskal γ。
• RL 对照：固定 Qwen3-8B 与 GRPO，只改奖励：Zero-Shot、C+A+H RL、Universal Rubric RL、RULER。消融共享同一骨干、优化器与训练超参。Table 5、Table 6 报告五次运行的均值±标准差。其余重复次数论文未在正文集中说明，实现细节指向附录 A。

主结果

据 Table 2（MMSVG-Illustration / MMSVG-Icon）：

Swipe horizontally to read the table

方法	Illust. Rubric	Illust. CLIP	Illust. Tokens	Icon Rubric	Icon CLIP	Icon Tokens
Qwen3-8B	0.432	0.244	0.4k	0.395	0.266	0.3k
Qwen3-32B	0.651	0.224	0.5k	0.681	0.228	0.3k
DeepSeek-V3	0.686	0.285	0.5k	0.673	0.290	0.2k
VectorFusion	0.611	0.313	31.4k	0.510	0.309	31.4k
SVGDreamer	0.547	0.293	124.3k	0.413	0.276	124.3k
IconShop	0.262	0.236	2.6k	0.586	0.285	1.3k
OmniSVG-8B	0.288	0.215	6.9k	0.565	0.272	5.7k
JanusCoder-8B	0.390	0.228	1.0k	0.384	0.256	1.0k
RULER	0.693	0.249	2.0k	0.683	0.269	0.7k

表中 Aesthetic、HPS 未全部列出。RULER 在 Illustration 上 Aesthetic 4.859、HPS 0.246；在 Icon 上 Aesthetic 4.873、HPS 0.247。Qwen3-8B 对应为 4.309/0.233 与 4.424/0.234；DeepSeek-V3 为 4.653/0.251 与 4.610/0.248。

• 作者解读：RULER 在两个基准的通用 Rubric 上高于各基线族；相对专用模型，Illustration 上 Rubric 从 JanusCoder 的 0.390 到 0.693，Icon 上从 IconShop 的 0.586 到 0.683。作者称 8B 模型经实例量表奖励后，视觉质量与更大的 DeepSeek-V3 相当（Illustration 0.693 对 0.686，Icon 0.683 对 0.673）。
• 辅助指标：作者称 CLIP、Aesthetic、HPS 仍具竞争力，量表收益没有以这些轴为代价。扩散方法 CLIP 更高（VectorFusion Illustration CLIP 0.313），但 token 数为 31.4k 或 124.3k，RULER 为 2.0k/0.7k。
• 人工偏好（Table 3）：150 条提示、不计平局，RULER 对 Qwen3-8B 胜率 89.7%（122/14/14），对 Qwen3-32B 66.1%（84/23/43），对 VectorFusion 53.3%（73/13/64），对 OmniSVG 66.9%（93/11/46），对 JanusCoder 96.5%（139/6/5）。作者称非平局胜率均高于 50%。

奖励设计（RQ2，Table 4）

• 测了什么：同一 Qwen3-8B 与 GRPO，比较 Zero-Shot、C+A+H、Universal Rubric、RULER。
• 结果：Illustration Rubric 为 0.432、0.464、0.660、0.693；Icon 为 0.395、0.262、0.591、0.683。C+A+H 把 Illustration Aesthetic 抬到 6.697、Icon 到 6.210，但 Illustration CLIP 从 0.244 降到 0.196，Icon Rubric 降到 0.262，Icon token 从 0.3k 增到 6.3k。
• 作者解读：作者称策略为迎合美学分类器而生成密集重叠笔画；通用量表能稳步提升（相对完整方法，Illustration 差 0.033，Icon 差 0.092），但同一清单无法反映提示特定的正确性。

量表消融与稳健性

• 轴消融（Figure 4）：去掉 Visual 下降最大，Illustration Rubric 0.693→0.580；去掉 Rendering 降至 0.599；去掉 Semantic 下降最小。图中还标有 −4.64%、−10.14%、−16.32%、−9.35%、−13.53%、−7.66%、−22.74%、−31.73% 等相对降幅，以及 Full Rubric 约 0.69/0.68。Rubric-S（更严、去掉风格轴并加固定文本提示惩罚）使通用 Rubric 降到 0.536。作者称该变体出现把提示相关文字画进 SVG 的 text-hint hacking。作者认为语义轴收益较小，可能因为 Qwen3-8B 预训练已有较强图文对齐。
• 骨干规模（Table 5，五次运行）：Qwen3-4B 的 Rubric 从 Illustration 0.372±0.017、Icon 0.338±0.017 升至 RULER-4B 的 0.561±0.008、0.559±0.006。RULER-8B 为 0.692±0.007 与 0.662±0.016，高于同表 Qwen3-32B 的 0.585±0.005 与 0.566±0.026。同表 Qwen3-8B 零样本 Rubric 为 0.440±0.011 / 0.394±0.016，与 Table 2 的 0.432/0.395 不完全相同。
• 量表生成器（Table 6，MMSVG-Icon，五次）：Claude-Opus-4.6 的 Rubric 为 0.662±0.016，GPT-5.5 为 0.646±0.007，均高于 Qwen3-8B 的 0.394±0.016。CLIP 上 GPT-5.5 为 0.278±0.001，高于 Claude-Opus-4.6 的 0.269±0.001。

其他消融与分析

• 人工–自动相关（Figure 3）：900 条上 Rubric 的 ρ=0.7929，Aesthetic 0.6051，CLIP 0.5518；γ 分别为 0.7574、0.5465、0.5295。
• Figure 1 示例：一条相机表情指令上，左右两图 CLIP 0.18/0.23、Aesthetic 4.93/4.84、Rubric 0.94/0.30；作者称标量指标把破损 SVG 排得更高或未能惩罚，Rubric 与人工偏好一致（人工偏好左图）。
• 定性案例：Figure 中给出眼睛图标、蜂巢、指北针等示例及各模型的 C/A/H/R 标注；部分格子在文本抽取中列对齐不可靠，此处不转写那些对不齐的逐格分数。作者用这些案例讨论与基线的视觉差异（RQ5）。
• 负面结果：C+A+H 在 Icon 上 Rubric 低于 zero-shot；Rubric-S 触发文本提示捷径且降幅大于单轴删除；去掉语义轴的降幅小于视觉与渲染轴。

作者指出的局限与后续方向

论文若在 Limitations、Discussion 或 Conclusion 中写明局限，以下只保留能对应到明确表述的内容；正文实验讨论中的现象不计入。

• 评审仍依赖 VLM：训练奖励与通用 Rubric 都由视觉–语言模型逐项打分，作者在方法与评测中把评审模型当作评分器，而非独立于模型判断的规则。若 Limitations 原文把评审偏差列为局限，则属作者指出的依赖；本节不把实验里的刷分现象再解释成新局限。
• 量表规格会改变优化通道：第 4.4 节作者称，更严、去掉风格轴的 Rubric-S 仍出现 text-hint hacking，并认为互补轴向与打分严格程度至少同样重要。这是结果讨论，不是单独的 Future Work 清单。
• 论文未在所给正文中单列 Limitations 条目：转换文本在结论与局限段落之前被截断到附录提示词。能明确读到的后续含义只有：作者把量表设计称为开放式视觉代码上 RL 的有效杠杆，并计划通过项目页发布材料（摘要给出项目页）。作者计划发布的内容不写成已经完成。

实验覆盖范围

• 基准：自动指标报告在 MMSVG-Illustration 与 MMSVG-Icon；盲测人工偏好为 150 条 MMSVG-Bench 提示、五种对照，平局不计入胜率（Table 3）。指标–人工相关使用 900 条、三个生成模型各 300 条（第 3.2 节、Figure 3）。
• 模型：主表包含 VectorFusion、SVGDreamer、Qwen3-8B、Qwen3-32B、DeepSeek-V3、IconShop、OmniSVG-8B、JanusCoder-8B 与 RULER。稳健性另报 Qwen3-4B、RULER-4B、RULER-8B（Table 5）以及 Claude-Opus-4.6 与 GPT-5.5 两种量表生成器（Table 6，仅 MMSVG-Icon）。
• 奖励对照：Table 4 固定骨干与 GRPO，比较 Zero-Shot、C+A+H、Universal Rubric 与 RULER。Figure 4 去掉语义、视觉或渲染轴，并比较 Rubric-S。
• 评测与训练分离：主结果 Rubric 由 GPT-5-mini 按通用量表打分；训练奖励来自实例量表与评审 VLM。Figure 2 将策略写成 Qwen3-8B、量表生成写成 Claude-Opus-4.6、评审写成 Qwen3-VL-8B。论文未在正文给出 G、训练步数或总查询次数的具体数值（指向附录 A）。
• 重复：Table 5 与 Table 6 为五次运行的均值和标准差。Table 2、Table 3、Table 4 未报告重复次数。

RULER 用按指令定制的量表奖励，在没有配对 SVG 真值的条件下做开放式矢量图强化学习。

• 问题：一条指令对应多种合法渲染，CLIP、Aesthetic、HPS 从自然图像迁移到风格化 SVG 时与人工不一致，直接当作奖励会被刷分；监督微调又被作者视为记住数据集模板。
• 方法：前沿模型只根据文本写出六项量表（语义、视觉、风格）。评审 VLM 对渲染图逐项打 0 到 1 分，加权平均后用 GRPO 的组内优势更新 Qwen3-8B。评测另用 GPT-5-mini 和一份通用量表，避免与训练信号混为一谈。
• 对齐：900 条样本上，量表的 Spearman ρ 为 0.7929、Goodman-Kruskal γ 为 0.7574，高于 Aesthetic 与 CLIP（Figure 3）。
• 主结果：Table 2 中 RULER 的通用 Rubric 在 MMSVG-Illustration / Icon 上为 0.693 / 0.683，骨干 Qwen3-8B 为 0.432 / 0.395，DeepSeek-V3 为 0.686 / 0.673。150 条盲测里，对 JanusCoder 的非平局胜率为 96.5%，对 VectorFusion 为 53.3%（Table 3）。
• 奖励对照：C+A+H 把 Icon 的 Aesthetic 抬到 6.210，Rubric 却降到 0.262，token 增至 6.3k（Table 4）。去掉视觉轴时 Illustration Rubric 从 0.693 降到 0.580（Figure 4）。作者的结论是：开放式 SVG 上，量表怎么写比单纯换优化器更能决定 RL 是否对准视觉质量。