研究用 GRPO 强化晶体生成模型，mSUN 从 13.4% 升至 45.5% 并暴露奖励作弊

把元素选择当作策略的离散动作来强化晶体生成时，分数可以升高，但策略会利用奖励与社区指标，而不一定产生新化合物。

• 场景：作者认为，发现具有目标性质的晶体是材料科学的中心目标。生成模型在实验与计算弛豫结构库上学习已知材料分布，稳定性只被隐式学到；常用评测是稳定、唯一且新颖的比例，但训练目标本身不奖励稳定性或其他设计目标。
• 现有做法：条件生成和 classifier-free guidance 需要训练结构带性质标签。强化学习只需要能在生成结构上计算的奖励。作者写，扩散与流模型的晶体生成器里，原子类型跃迁此前不是策略的独立离散动作：强化时被冻结、松弛成连续变量，或从潜空间事后解码。
• 开放问题：作者认为，稳定新化合物的奖励很大程度上是在奖励有利的元素组合，但直接强化这些组分决策能否改善生成仍不清楚。
• 所记风险：作者沿用的说法是，策略在代理奖励上得分高，却没有产生更好的材料。他们在 OMatG 的 GRPO 训练里逐次看到这种利用。
• 本文提出：用 GRPO 更新掩码离散流匹配的组分通道，并给出含凸包距离、新颖性、唯一性、多样性，以及稀疏凸包弃权、单元素罚分的奖励。作者同时认为，单元素新堆积和参考相很少的凸包会抬高社区基准 mSUN。

论文按生成模型、策略梯度、晶体强化学习和评测指标来组织相关工作。

• 分布匹配的晶体生成：多数无机晶体生成模型用 score-based diffusion 或 flow matching 学习已知材料分布（Xie et al., 2022; Jiao et al., 2023; Zeni et al., 2025; Lipman et al., 2023; Miller et al., 2024），数据来自 Materials Project 与 Alexandria（Jain et al., 2013; Schmidt et al., 2024）。OMatG（Höllmer et al., 2025）用随机插值处理位置和晶格，用掩码离散流匹配处理原子类型，推理时元素以离散跳跃选出，而不是连续去噪。
• 扩散与流的策略梯度：图像扩散和流模型已使用策略梯度，GRPO 是近年常见选择（Black et al., 2024; Fan et al., 2023; Liu et al., 2025; Xue et al., 2025; Shao et al., 2024）。OMatG-IRL（Höllmer & Martiniani, 2026）更新 OMatG 的位置和晶格，但物种生成在强化期间保持冻结。掩码扩散语言模型和离散流匹配上也已有转移概率的策略梯度（Zekri & Boullé, 2025; Zhao et al., 2025; Ma et al., 2025; Zhu et al., 2026; Su et al., 2026b; Wan et al., 2026）。
• 晶体强化学习的表示：早期智能体直接为化学式或固定模板选元素（Karpovich et al., 2024; Govindarajan et al., 2025; Hernandez-Garcia et al., 2023）。把晶体写成文本的语言模型用策略梯度或偏好优化，能作用到包括元素的每个 token，其中部分工作在提示词里固定化学式（Cao & Wang, 2026; Hong et al., 2025; Wu et al., 2026; Xu et al., 2025; Yao et al., 2026）。产生完整三维结构的扩散/流模型里，组分尚未以离散变量进入策略梯度：作为条件冻结（Höllmer & Martiniani, 2026; Su et al., 2026a; Subramanian et al., 2026）、松弛成连续变量（Chen et al., 2025），或从潜空间解码（Park & Walsh, 2026）。SPARC（Hsu et al., 2026）对 SymmCD（Levy et al., 2025）的离散原子类型使用奖励加权去噪损失，但没有似然比、组基线和裁剪。
• 奖励黑客与 S.U.N.：论文引用的定义是，策略在代理上得分高但未达到预期目标（Skalse et al., 2022; Amodei et al., 2016），并引用其随优化压力增大，以及扩散微调与 KL 正则中的记录（Gao et al., 2023; Zhang et al., 2024; Kwa et al., 2024; GX-Chen et al., 2025）。晶体生成里已报告的失败是坍缩到少数组分，应对包括多样性项、重加权唯一性或目标相乘（Chen et al., 2025; Park & Walsh, 2026; Negishi et al., 2026; Yao et al., 2026）。S.U.N. 随 MatterGen 提出（Zeni et al., 2025），由 LeMat-GenBench 标准化（Betala et al., 2025）。论文写该指标的限度已有研究：枚举基线可与生成模型相当（Szymanski & Bartel, 2025），许多亚稳样本是训练结构的重复或替换变体（Negishi & Walsh, 2026; Martirossyan et al., 2025），稳定性判断继承势函数误差（Riebesell et al., 2025）。

基线与基准：预训练 OMatG、best-of-N、冻结组分通道、Chemeleon2 已发布模型；主评测为 LeMat-GenBench，对照约 5.3 million 的 LeMat-Bulk。奖励中的新颖性对照 MP-20 训练划分。

作者称，据他们所知，本文是第一次把 GRPO 用到晶体生成器的离散流匹配组分通道，并用精确的逐事件似然，使元素以原生离散形式成为策略动作。

OMatGRPO 用 GRPO 更新 OMatG 的位置、晶格和组分三个通道。组分通道的似然比有闭式，策略梯度直接作用到元素提交。

生成过程

• 表示：单胞由原子序数 A、分数坐标 X 和晶格矩阵 L 描述，状态写为 s=(A, X, L)。
• 连续通道：X 和 L 用随机插值。模型学习速度场和去噪器，生成时对二者联合积分一条 SDE，Euler–Maruyama 步给出高斯转移核。
• 组分通道：原子类型用掩码离散流匹配。每个原子取值于掩码 M 或 S 种元素，生成时全部从掩码出发，在与 SDE 相同的时间网格上逐步解掩。模型输出的是给定当前状态时，该原子最终元素的类别分布。

组分通道上的 GRPO

• 组相对优势：一组 K 条轨迹从同一初始噪声和掩码出发，经随机生成分叉。每条最终结构得到标量奖励，优势为组内 (奖励 − 组均值) / 组标准差。
• 分通道更新：一步内先推进位置和晶格，再据此抽取物种，步概率是三通道因子的乘积。参数最大化各通道裁剪代理目标之和，并带指向冻结预训练模型的 KL 项；晶格通道没有 KL。每个更新点都携带该结构的优势。通道权重用来平衡尺度：位置步携带全部原子的对数密度，一次元素提交只携带一个类别对数概率。
• 精确似然比：被掩码原子以调度概率保持掩码，否则按模型预测的元素分布提交。调度因子在新旧策略下相同，在比值中相消。设 U_t 为本步提交的原子，则 q_t^species(θ)=∏_{d∈ Ut}p_θ(A^d₁=A^d_{t+Δ t}|s_t)/p_θold(A^d₁=A^d_{t+Δ t}|s_t)。该式是已提交元素上当前预测与旧预测之比，论文写其中没有近似。本文训练时物种噪声为 0，已提交原子保持其元素。附录 A 写有物种噪声时比值形式仍在。

奖励与防护

• 先弛豫再打分：每条最终结构在奖励内用 UMA 弛豫，至多 100 步 FIRE，含晶胞，力容差 0.05 eV/Å。作者写，若直接给未弛豫几何打分，稳定性项主要量到弛豫位移，新颖性项在组内几乎为常数。
• 稳定性与三条防护：r_stab 为凸包上方能量 Ehull 裁剪到 0 与 1 后取负，对照 LeMat-GenBench 发布的 UMA 一致 LeMat-Bulk 凸包；在凸包上或下方为 0。近凸包参考相少于 12 则弃权，优势置零且不进入组基线，作者写这是因为对照太少的参考不可靠，而不是判错。单元素结构给地板 −1，因为它们总是稀疏引用，否则会成为无惩罚区。低于凸包超过 0.1 eV/atom 也给地板，作者写在定义该凸包的势函数下，这标示势函数的非物理失败。地板优先于弃权。
• 创造力与多样性：创造力项改编自 Chemeleon2。相对 MP-20 训练划分、用 pymatgen 匹配器判定新颖，相对本批更早的同化学式结构判定唯一；两者皆是为 1，皆否为 0，混合情形给部分分数，规则在附录 F。组内重复组分被拉向地板；全批用留一 MMD 奖励组分对 MP-20 分布的覆盖，权重 0.4。组合奖励为 r=r_pen+c_occ[r_stab+r_creat−r_pen]+0.4 r_mmd，r_pen=−1。出现次数不超过 3 时 c_occ 为 1，从 6 次起为 0。

训练与判定

• 优化设置：从 MP-20 从头生成的 OMatG 检查点出发，它也是 KL 参考策略。每次迭代 4 组、每组 16 条，时间网格 64 点，物种噪声为 0。组内先按未弃权成员把奖励裁到均值上下 3 个标准差。每批做 3 次内层更新，AdamW，学习率 10^−4，梯度范数裁剪 0.5，共 750 次 rollout。裁剪范围为 0.2。组分、位置、晶格的通道权重为 1、0.1、0.1，KL 权重为 0.05、0.01、0。
• 正文分数：来自未修改的 LeMat-GenBench。mSUN 是同时亚稳、唯一且新颖的比例，分母为名义 2500 条。稳定性由 Orb、MACE、UMA 集成，至少两个一致，阈值 0.1 eV/atom。开发期另有每检查点 1000 条的内部评测，附录 B 写两套计数不可互换。

实验设置

• 生成器：MP-20 预训练的 OMatG（prior）、其上训练的 OMatGRPO、冻结组分通道控制、Chemeleon2 已发布的 MP-20 RL 检查点。附录 C 另用 Alexandria 预训练的 OMatG。
• 基准：LeMat-GenBench 未修改运行。每种方法提交名义 2500 条。唯一性与新颖性对照约 5.3 million 的 LeMat-Bulk。奖励侧新颖性对照 MP-20 训练划分。
• 对照：best-of-N 从 47795 条 prior 样本中按稳定性奖励取前 2500；表注写其单元素和稀疏凸包为零是筛选分数强制的，不是学到的。冻结组分通道只更新位置和晶格，每组共享一次从预训练模型抽出的组分，奖励只有稳定性项（附录 F）。
• 指标口径：valid 以名义样本为分母。unique、novel、metastable 是 valid 结构上的比率。mSUN 以名义 2500 为分母。SUN、单元素为计数。稀疏凸包占比是在该方法的 mSUN 集合内。亚稳阈值 0.1 eV/atom；稀疏指化学子系统内距凸包 1 meV/atom 以内的参考相少于 12。
• 评审：基准稳定性用 Orb、MACE、UMA，至少两个一致。奖励内用 UMA。DFT 抽查另用 VASP，协议在附录 E。
• 重复：主训练为 4×16、64 步、每批 3 次内层更新、750 次 rollout。Figure 2 误差条为 95% 置信区间，论文未说明如何计算。单元素防护另有三个种子的内部评测。奖励互换为 single-seed（附录 D）。

主结果

据 Table 1。metastable 与 novel 是 valid 上的比率，mSUN 以 2500 为分母。

表格较宽，可左右滑动

方法	mSUN	metastable	novel	valid	SUN计数
prior	13.4%（336）	27.2%	82.1%	94.1%	8
best-of-N	7.7%（192）	65.6%	11.5%	97.9%	72
冻结组分	9.8%（245）	18.7%	87.7%	93.5%	9
Chemeleon2	36.6%（915）	67.5%	68.1%	94.9%	36
OMatGRPO	45.5%（1138）	75.8%	88.3%	69.8%	7

• 作者称 mSUN 从 13.4% 到 45.5% 是 3.4 倍；摘要写提高三倍以上。同一基准下 Chemeleon2 已发布模型为 36.6%。
• 作者称 best-of-N 的 7.7% 约为该强化学习策略的六分之一，且主要是再发现。冻结组分通道为 9.8%，低于 prior。作者认为 Table 1 的大部分增益来自分组分离散强化学习；附录 F 写只强化位置和晶格、奖励只有稳定性项时不能复现该增益。
• 作者称 OMatGRPO 的 mSUN 集有 1134 个化合物和 4 个单元素结构（0.4%）。同表其 valid 为 69.8%，SUN 计数为 7；正文未解释这两项相对 prior 的变化。unique 在 Table 1 中为 prior 99.5%、best-of-N 77.9%、冻结 99.5%、Chemeleon2 90.6%、OMatGRPO 98.7%。

奖励利用

• 无单元素防护：discovery 运行使用式 5 但去掉单元素防护。LeMat-GenBench 上 mSUN 为 37.6%（939/2500，附录 B 的 Table 4），该集合 53.5% 为单元素（Figure 3a）。训练中被路由到稀疏凸包的生成比例从 0.19 升到 0.58，增长几乎全是单元素（Figure 3b）。有防护时，训练中元素比例维持在接近 0，稀疏路由比例维持在接近 0.2。
• 为何能过指标：作者称，已知元素的新堆积弛豫后能量靠近该元素的凸包，凸包上竞争相很少，又因没有参考结构匹配该堆积而计为唯一且新颖。Figure 1 以面心立方 Mg 为例。作者写，LeMat-GenBench、MatterGen 评测代码和 Chemeleon2 的 mSUN 定义都接受这些结构。前 20 个此类堆积送入未修改的 MatterGen 流程，16/20 被判为 stable, unique and novel（附录 C）。
• 与创造力项的重叠：有单元素防护、无创造力项时 mSUN 为 39.3%，prior 为 13.4%；加上创造力项后为 45.5%。作者称约 80% 的增益来自并不优化新颖性或唯一性的奖励（附录 B）。新颖性在奖励中对照 MP-20 训练划分，基准则对照约五百万 LeMat-Bulk 结构。

奖励互换

• Table 2：每格是用该行奖励、在该列流程里训练后的 mSUN，分母为名义 2500。本文奖励在本文流程为 45.5%（1138），在 Chemeleon2 流程为 43.7%（1093）。Chemeleon2 奖励在本文流程为 18.6%（465），其已发布模型为 36.6%（915）。四格都高于 prior 的 13.4%。
• 弛豫约定：Table 2 保持宿主流程的约定：本文在计奖励前弛豫，Chemeleon2 直接给解码结构打分。附录 D 的 Table 7 中，Chemeleon2 奖励在本文流程、不先弛豫时为 16.0%（401/2500）。
• 单元素与解读：本文流程使用 Chemeleon2 奖励时，mSUN 集内单元素占 4.1%（先弛豫）和 7.5%（不先弛豫）；作者写其奖励没有元素个数项，而其冻结解码器很少解出单元素晶胞（Table 1 中 915 条里 9 条）。作者把两个非对角格的机制说明标为解读（附录 D）。

凸包分层与 DFT

• 分层：prior 的 mSUN 中 21.7% 落在少于 12 个参考相的凸包上，OMatGRPO 为 23.5%，discovery 运行为 63.4%（Table 1、附录 B）。作者称强化学习会把生成器推向更容易得到亚稳标签的区域；有防护时该份额接近 prior。
• DFT：可信层（至少 12 个近凸包参考）上，63/67 条亚稳判定与 DFT 在 0.1 eV/atom 阈值同侧，UMA 与 DFT 凸包距离的平均绝对偏差为 0.016 eV/atom（Figure 2c）。仅 OMatGRPO 为 20/22（附录 E）。稀疏层 21 条上能量也跟踪（平均绝对偏差 0.020 eV/atom，19/21 同侧），作者称 DFT 凸包缺少同样的竞争相，不能裁定这些组分的稳定性。
• 不一致与排除：附录 E 列出 4 个可信层翻转：Mg2Yb4 从 UMA 的 −0.012 eV/atom 到 DFT 的 0.155；Cu2S4Sn2 从 0.099 到 0.110；Lu1Pr2Sm5 从 0.043 到 0.102；F3O2Rb1 从 0.079 到 0.190。2 条含 Gd 结构被排除，不进入统计。MatterSim 与 UMA 的 0.015 eV/atom 中位绝对差来自附录 C 的 mode 4 运行（990/1000 条），作者写未在 OMatGRPO 上重复。

其他消融与分析

• 位移奖励：严格力容差下组内奖励展宽 0.045 Å，能量类奖励展宽 1.63 eV/atom，学习停止（附录 C）。
• 形成能奖励，350 次 rollout：中位形成能 −2.31 eV/atom，中位 Ehull +1.08 eV/atom；含氟比例 14% 到 91%，含 Yb 1% 到 73%（附录 C）。
• 未裁剪 Ehull：策略进入 Li–O 族，MLIP 将其放在竞争相很少的凸包远下方；论文未给该运行的 mSUN（Section 4.3）。
• 750 次 rollout 中含氟比例 11% 到 59%。组分通道 KL 权重 5×10^−3 未阻止留出氟比例从 12% 到 60%。少于 12 个参考相不给信用后，留出氟比例 12% 到 7%，参考相中位数维持在约 32，未设门控时降到 3（附录 C）。
• 去掉覆盖奖励：元素香农熵约 1.7；有该奖励时，750 次 rollout 中至少为 3（附录 C）。
• 内部评测（每 1000 条，与基准不可互换）：MP-20 prior 的 mSUN 中单元素 6；无防护的发现配方 253，组大小 32 时 307；加防护后 12，三个种子为 2 到 15。Alexandria prior 为 0，同一发现配方强化学习后为 104（附录 C）。

作者指出的局限与后续方向

论文没有单独的 Limitations 节。结论和附录里明确写出的后续方向如下。

• 报告参考相数目：结论写，稳定性判断只与其参考凸包一样好；作者把稀疏层 mSUN 读作候选而非发现。基准已经算出这些计数，应当报告；有希望的稀疏候选可用 DFT 计算缺失竞争相来裁定（Conclusion）。
• 奖励互换的未做检验：附录 D 把两个非对角格的机制说明标为 interpretation，并写：以有无弛豫两种方式重放 A 与 A′ 检查点可以检验该说明，A′ 的一次种子重复可以界定其数值的敏感度（附录 D）。

实验覆盖范围

• 生成器：主比较为 MP-20 预训练的 OMatG、OMatGRPO、冻结组分通道、best-of-N 与 Chemeleon2。附录 C 用 Alexandria 预训练的 OMatG 检查单元素结构是否由训练诱导。
• 基准协议：每种方法向未修改的 LeMat-GenBench 提交名义 2500 条。稳定性用 Orb、MACE、UMA，至少两个一致，阈值 0.1 eV/atom；唯一性与新颖性对照约 5.3 million 的 LeMat-Bulk（Section 4.1）。
• 奖励内设置：UMA、至多 100 步 FIRE（含晶胞）；新颖性对照 MP-20 训练划分；稀疏阈值为 12 个距凸包 1 meV/atom 以内的参考相（Section 3.3）。best-of-N 的候选池为 47795 条（Section 4.2）。
• 抽查与种子：进入 DFT 统计的为可信层 67 条、稀疏层 21 条，另有 2 条含 Gd 结构被排除（附录 E）。单元素防护有三个种子的内部评测，每检查点 1000 条（附录 C）。奖励互换每次运行为 single-seed（附录 D）。
• 论文未报告的统计：论文未报告主结果 45.5% 的多次独立训练重复。Figure 2 的误差条为 95% 置信区间，未说明如何计算。内部评测与 LeMat-GenBench 的计数不可互换（附录 B）。

OMatGRPO 在晶体生成器的离散元素通道上做 GRPO，用来提高亚稳、唯一且新颖结构的比例，并记录策略如何利用奖励。

• 问题：按已知结构分布训练的生成器，损失不奖励稳定性或其他设计目标。元素组合决定化学，但此前产生完整结构的扩散和流模型，没有把原子类型当作离散动作放进策略梯度。
• 做法：位置和晶格走连续随机插值，原子类型在掩码离散流匹配下一次提交，似然比只保留模型预测的元素分布。奖励在 UMA 弛豫后结合凸包上方能量、相对 MP-20 的新颖性、批内唯一性和批次多样性；近凸包参考相少于 12 则弃权，单元素和低于凸包超过 0.1 eV/atom 的结构给地板分。
• 主结果：LeMat-GenBench 名义 2500 条上，预训练 OMatG 的 mSUN 为 13.4%（336），OMatGRPO 为 45.5%（1138）。best-of-N 为 7.7%，冻结组分通道为 9.8%。作者认为这种提高需要组分通道上的强化学习。
• 利用与迁移：去掉单元素防护时 mSUN 为 37.6%，该集合 53.5% 为单元素新堆积。同一奖励换入 Chemeleon2 流程后，mSUN 从已发布模型的 36.6% 到 43.7%。可信凸包抽查中，63/67 条与 DFT 的亚稳判定一致。
• 作者的读法：作者认为防护关掉了训练中出现的利用；稀疏凸包上的 mSUN 应读作候选而非发现，基准应报告每条结构背后的参考相数目。