安全强化学习评测指标：SafeRLEval 开源评测套件

现有安全强化学习评测把安全性压成“平均代价是否不超过安全界”，作者认为这不能可靠刻画算法的真实安全。

• 场景与重要性：安全强化学习通常形式化为约束马尔可夫决策过程（CMDP），智能体最大化期望回报，同时满足 E[C]≤d。作者称自动驾驶、机器人、电力系统等安全关键领域还须满足行为约束。现有基准多沿用这一期望型保证，报告算法“平均是否安全”（Ray et al., 2019; Ji et al., 2024）。
• 现有评测的不足：作者认为，把安全收成单一汇总值，看不出越界有多频繁、有多严重，也看不出结论是否在不同任务和不同安全界上一致，以及训练期行为能否代表最终收敛策略。Ray et al. (2019) 区分了训练期平均表现与最终策略，并报告训练期累积不安全行为，但作者称该协议不报告越界频率与幅度，也不区分最终策略带探索噪声与贪心（关闭探索噪声）两种评测。更近的基准扩大了任务、算法和约束类型，标准评测协议变化不大。
• 核心观察：训练通常在探索噪声下优化；部署时最终策略常被确定性执行。Figure 1 给出 Lagrangian PPO 在 Safe Circle Point (Level 1)、d=25 的单一种子：带探索噪声的最终策略全部回合低于 d（越界率 0.0%），同一策略的贪心回放越界率为 41.0%。作者称 Lagrangian 方法只约束训练所用随机策略的期望代价，取最可能动作的确定性策略并未直接受该约束。
• 作者提出：三项贡献。（i）越界频率、越界幅度和相对安全界的代价偏差，并归一化以便跨任务、跨安全界聚合；（ii）安全等级，按这些指标把算法在训练期与最终策略上分类比较；（iii）在多个安全导航任务、多个安全界和多种算法上的实证评测。作者建议三者联合报告，而不是压成单一数值。作者提供开源评测套件 SafeRLEval。

论文在引言和第 2 节把相关工作分成约束优化方法、已有评测协议，以及一般强化学习中的统计聚合。

CMDP 与约束优化方法

• CMDP（Altman, 1999）：在 MDP 上增加代价与安全界，目标是最大化期望折扣回报并满足各期望折扣代价不超过对应安全界。García and Fernández (2015) 综述了安全强化学习的多种做法。
• Lagrangian（primal-dual）方法（Ray et al., 2019; Tessler et al., 2019; Stooke et al., 2020）：按约束违反程度惩罚回报，Lagrange 乘子与策略一起用对偶梯度上升学习。作者称在凸性条件下只渐近保证可行，对单个策略迭代没有保证。
• 更新受限与惩罚系数方法：FOCOPS（Zhang et al., 2020）用一阶近似求解约束策略更新，作者称该近似在每次策略迭代上强制可行。P3O（Zhang et al., 2022）逐步增大固定形式的惩罚系数，避免学习 Lagrange 乘子的不稳定，但作者称因此失去形式收敛保证。CPO（Achiam et al., 2017）被引言列为信任域方法，未进入本文实验。

已有安全强化学习评测

• Safety Gym 协议（Ray et al., 2019）：区分训练期平均表现与最终策略，并给出刻画学习过程中累积不安全行为的平均训练 regret。作者称它不报告越界频率与幅度，也不区分最终策略的探索评测与贪心评测；其代价偏差相对无约束基线（如 PPO）归一化，作者改为直接除以安全界 d。
• 后续基准套件：Safety Gymnasium（Ji et al., 2023）、OmniSafe（Ji et al., 2024）、CRAX（Tomilin et al., 2026）、SafeOR-Gym（Ramanujam et al., 2025）扩大了任务、算法和约束类型。作者称标准评测协议变化相对较小，仍主要报告平均是否安全。Spoor et al. (2025) 被引为：跨任务、尤其跨安全界的统计聚合在安全强化学习中仍基本缺席。

统计聚合与训练期禁止越界的方法

• Agarwal et al. (2021)：在一般强化学习中指出，不计入运行与任务变异的单点估计可能造成误导比较，并提出更稳健的聚合，包括四分位均值（IQM）。作者称安全强化学习尚未同时报告分布性质与单值指标。
• 训练期也不允许越界的方法：Limitations 点名 shielding（Alshiekh et al., 2018）、连续动作安全探索（Dalal et al., 2018）、ActSafe（As et al., 2025）和基于障碍函数的端到端安全强化学习（Cheng et al., 2019）。作者称这些更严的方法尚未用本文框架评测。HASARD（Tomilin et al., 2025）被列为可扩展评测的视觉具身任务域，未进入实验。

基线与基准：无约束基线为 PPO（Schulman et al., 2017）；安全算法为 PPO-Lag、P3O、FOCOPS。任务来自 CRAX（Tomilin et al., 2026）的四个 Level 1 安全导航任务，安全界为 15、25、50。

作者把本文定位为：在平均回报与平均代价之外，用可跨任务和安全界聚合的越界频率、幅度与代价偏差，加上安全等级和分布报告，并同时覆盖训练期与最终贪心策略。

作者在 CMDP 的期望约束之外，定义可跨任务与安全界比较的安全指标、安全等级和归一化代价的经验累积分布，并区分训练期（带探索噪声）与最终策略的探索评测、贪心评测。框架实现为 SafeRLEval。

问题设定

• CMDP：M = (S, A, P, R, P0, γ, C)。策略 π 最大化期望折扣回报，并满足每个期望折扣代价不超过 di。单代价时写作 E[C]≤d。可行集为满足全部约束的策略集合。
• 固定条件：指标先在单个任务 m、安全界 d、算法 a、种子 k 上定义。策略迭代 j 从 0 到 J，J 对应收敛策略 πfinal。每个策略用 N 个回合做期望的蒙特卡洛估计。
• 两种策略条件：探索噪声开启，或贪心（探索噪声关闭）。作者称训练期安全应在探索噪声下评估，因为噪声是训练的一部分；部署期安全应对贪心策略评估，因为收敛策略在仿真中通常确定性执行。训练全程报告带探索噪声的指标；最终策略同时报告两种，以隔离探索噪声的影响。

单个策略上的指标

• 平均回报与平均代价：沿用已有基准，R̄ 与 C̄ 为 N 个回合的样本均值（式 2）。
• 越界率 V：回合代价严格大于 d 的比例（式 3），表示越界有多频繁。
• 归一化代价偏差：Dnorm = (C̄ − d) / d（式 4）。大于 0 表示平均不安全，小于 0 表示平均安全，C̄ = d 时为 0。作者不用 Ray et al. (2019) 相对无约束基线的归一化，理由是无约束基线代价通常远高于 d，安全算法的归一化分数会趋近于 0；他们把 d 当作代价偏差的自然单位。
• 归一化越界幅度 Dnorm+：只在越界回合上，对 (c − d)+ / d 取平均；没有越界回合时定义为 0（式 5）。作者称平均代价相同的两个算法，越界画像仍可能不同：频繁但轻微，或很少但幅度很大。

聚合与安全等级

• 跨迭代：训练全程把各迭代的指标取平均（式 6），且这些迭代在探索噪声下评估。
• 跨种子与条件：先对 K 个种子平均，再在全部任务–安全界对 (m, d) ∈ P 上取 IQM，即 25 与 75 分位之间数值的均值，记作固定策略的 IQM(X^j_a) 或训练聚合的 IQM(Xa)。
• 安全等级：对 IQM(Dnorm)、IQM(V)、IQM(Dnorm+) 设阈值，从 0 到 4 级（Table 1）。0 Unsafe 无条件；1 Minimal 要求 IQM(Dnorm)≤0；2 Moderate 再加 IQM(V)≤0.5；3 Substantial 再加 IQM(V)≤0.1 且 IQM(Dnorm+)≤0.1；4 Strict 要求 IQM(Dnorm)≤0、IQM(V)=0 且 IQM(Dnorm+)=0。等级分别在训练期 IQM(Xa^expl) 和最终贪心策略 IQM(Xa^final,greedy) 上评定，两者可以不同。作者称等级只条件于已按 d 归一化或本身落在 [0,1] 的 V、Dnorm、Dnorm+；R̄ 与 C̄ 尺度随任务变化，不进入等级。
• 经验 CDF：式 7 给出归一化回合代价偏差 (c−d)/d ≤ κ 的经验比例，分母为 |P|·K·N。可对任意迭代、最终探索策略、最终贪心策略或整个训练计算。κ=0 处对应是否越过安全界；κ>0 一侧的形状对应越界有多严重。

实验中的计算约定

• 训练记录：总环境步数 5×10^8，回合长度 T=2000。每批 N=2048 个并行环境各完成一个回合后记录一次，约每 4.2×10^6 环境步一个点，每种子 J=122 个点，约 2.5×10^5 个回合。每个点先对这 2048 个回合平均。
• 最终评测：关闭探索噪声，使用确定性贪心策略，每种子 N=100 个评测回合。附录同时给出最终策略开启探索噪声的聚合结果。
• 不确定性：单任务、单安全界报告 30 个种子的均值 ± 样本标准差，该标准差不随种子数增加而缩小。跨任务与安全界的 IQM 报告分层自助法 95% 置信区间，B=2000；CDF 的阴影带用同一程序。

实验设置

• 算法：PPO-Lag（Ray et al., 2019）、P3O（Zhang et al., 2022）、FOCOPS（Zhang et al., 2020），无约束基线 PPO（Schulman et al., 2017）。实现与任务来自 CRAX（Tomilin et al., 2026）。
• 任务与安全界：M 为 Safe Goal Point、Safe Circle Point、Safe Push Point、Safe Button Point，均为 Level 1；D 为 {15, 25, 50}。作者称这些任务覆盖不同约束与奖励类型。
• 规模与超参：每个条件 30 个种子。4×3×4×30=1440 次运行，每次约 2 小时，合计约 2880 GPU 小时（NVIDIA L4，24GB，每运行 1 GPU、4 CPU 核）。共享超参见 Table A.1，包括 γ=0.99、GAE λ=0.95、PPO clipping ε=0.3、学习率 5×10^−4、并行环境 2048、确定性评测回合 100。算法特定项包括 PPO-Lag 的 Lagrange 乘子学习率 3.0、初始 λ=0；FOCOPS 的初始 ν=0.1、ν 学习率 1.0、νmax=100、KL 惩罚 1.5；P3O 的初始 κ=0.01、增长因子 1.1、κmax=50。
• 指标与区间：训练全程与最终贪心策略报告 IQM(R̄)、IQM(C̄)、IQM(Dnorm)、IQM(V)、IQM(Dnorm+) 及 Table 1 的安全等级。除 IQM(R̄) 外越低越好。聚合不确定度为 B=2000 的分层自助 95% CI（Table A.3、Table A.2）。单任务结果为 30 种子均值 ±1σ（Tables A.4–A.7）。训练曲线用窗口为 5 的移动平均，阴影为 30 种子的 1σ（Figures A.3–A.6）。

主结果

Table 2 为全部 (m, d) 与 K=30 的 IQM。加粗规则排除 PPO。Train 为全部策略迭代，Final 为最终贪心策略。

表格较宽，可左右滑动

算法	Train / Final IQM(R̄)	Train / Final IQM(Dnorm)	Train / Final IQM(V)	Train / Final IQM(Dnorm+)	Train / Final Tier
PPO	115.63 / 68.17	4.77 / 2.20	1.00 / 0.94	4.79 / 2.29	0 / 0
PPO-Lag	77.72 / 54.18	0.00 / −0.13	0.43 / 0.34	0.25 / 0.50	2 / 2
P3O	90.41 / 57.80	0.55 / −0.03	0.70 / 0.42	0.81 / 0.53	0 / 2
FOCOPS	108.76 / 74.26	0.06 / −0.19	0.41 / 0.29	0.34 / 0.48	0 / 2

• 等级与训练–部署差：作者称三种安全算法的最终贪心等级都高于训练全程，并认为这符合所选算法只渐近或在局部信任域内保证约束、并不保证每个训练迭代可行。Table 2 中 PPO-Lag 训练与最终贪心都是 tier 2；P3O 与 FOCOPS 从训练 tier 0 到最终贪心 tier 2；PPO 两边都是 tier 0。没有算法在该聚合上达到 tier 3 或 4。
• 边界敏感性：FOCOPS 训练期 IQM(V)=0.41，低于 PPO-Lag 的 0.43，但 IQM(Dnorm)=0.06，略高于 tier 1 所需的 ≤0，因此训练为 tier 0，比 PPO-Lag 低两级。作者在 Discussion 中把这作为等级可由单一边界条件决定的例子。
• 奖励与越界幅度：作者称 FOCOPS 在训练和最终贪心上都有最高 IQM(R̄)，并在最终贪心上同时有最低的 IQM(Dnorm)、IQM(V)、IQM(Dnorm+)。PPO-Lag 训练期最保守，IQM(Dnorm+)=0.25，但 IQM(R̄) 低于 FOCOPS。Table A.3 中 P3O 的 Final tier 写成 0，与 Table 2 的 Final tier 2 不一致；Table A.3 的点估计（IQM(Dnorm)=−0.03、IQM(V)=0.42）按 Table 1 满足 tier 2，下文以 Table 2 为准。

探索噪声与贪心策略

• 聚合 CDF：Figure 2 给出训练全程、最终探索策略、最终贪心策略三条经验 CDF，横轴在 Dnorm=2 处截断，虚线为 Dnorm=0，阴影为分层自助 95% CI。作者称 κ=0 处曲线顺序与 Table 2 的越界率顺序一致，但数值不一一对应，因为 Table 2 是 IQM(V)，CDF 是全部实例。Figure A.1 把横轴放到约 20。作者称三条安全算法的曲线从训练到最终策略向左移动，与等级提高一致。
• 最终策略内部：作者称四个算法上，带探索噪声的最终策略曲线都位于贪心曲线左侧，即探索噪声下越界更少、更轻。Table A.2 的 IQM 点估计：PPO-Lag 的 IQM(V) 从探索 0.110 到贪心 0.341，IQM(Dnorm) 从 −0.477 到 −0.126；P3O 的 IQM(V) 从 0.175 到 0.421；FOCOPS 的 IQM(V) 从 0.109 到 0.291，IQM(Dnorm) 从 −0.490 到 −0.193。四处 Final (expl.) 与 Final (greedy) 的 tier 都是 2（PPO 为 0）。作者称每个指标在探索噪声下都低于贪心，且无约束 PPO 也如此，因此贪心评测提高越界并不只出现在安全算法上。Table A.2 若干 Dnorm+ 的自助区间与点估计错位（例如 PPO-Lag 探索点估计 0.425，区间 [0.244, 0.348]），点估计与区间的对应关系论文未说明。
• 作者的解读：E[C]≤d 约束的是训练时带探索噪声策略的期望代价，贪心策略本身未受该约束。作者称该模式在全部任务和安全界上一致，因此用带探索噪声的最终策略来代表最终贪心策略存在一般性限制。

分任务与分安全界

• Safe Button Point：Table A.7 中，d=25 时 PPO-Lag 的 R̄ 在训练为 −0.17±9.63，最终贪心为 −8.84±41.09；训练 V=0.00±0.00、Dnorm=−0.91±0.02，等级为训练 T2、最终 F2。作者怀疑 Lagrange 乘子 λ 过大，策略被冻住、几乎不动作。Figure A.2 为 30 种子平均的 λ 轨迹，阴影为 1σ；作者称 d=25 的曲线相对 d=15 和 d=50 长得很大。作者还称该任务奖励来自主动按目标按钮，四种算法的贪心策略都像收敛到不按按钮的被动策略，奖励和代价一起下降，最终 V 也下降。d=50 时 PPO 最终等级为 F0，是 Table A.7 里最终政策未标成 F2 的一行；FOCOPS 在 d=50 的训练为 T2（Dnorm=0.00±0.00，V=0.41±0.03）。
• Figure 1 的单种子：Safe Circle Point (Level 1)、d=25、Lagrangian PPO：最终探索策略越界率 0.0%，贪心越界率 41.0%，图中 d=25。
• 分布是否重合：作者称 Figures A.7–A.10（每图 N=100 次回放、30 种子、误差条为 1σ）中，Safe Circle Point 与 Safe Goal Point 的探索与贪心回合代价分布差别大，Safe Button Point 与 Safe Push Point 有相当重叠，因此该差距可能依赖任务。Figure A.7 标注的 Safe Goal Point 贪心 V：PPO 在 d=15、25、50 均为 100%，对应 Dnorm+ 为 12.358、7.039、3.049；PPO-Lag 贪心 V 为 43%、40%、44%。

其他消融与分析

• 论文没有算法内部消融。Table A.3 给出与 Table 2 对应的 95% CI：FOCOPS 训练 IQM(Dnorm) 为 0.06[0.06, 0.06]，IQM(V) 为 0.41[0.40, 0.41]；PPO 训练 IQM(V) 为 1.00[1.00, 1.00]。
• PPO-Lag 训练 IQM(Dnorm) 的 CI 为 0.00[−0.01, 0.00]，最终贪心 IQM(Dnorm+) 为 0.50[0.46, 0.56]，高于其训练值 0.25[0.23, 0.28]。
• P3O 训练 IQM(Dnorm) 为 0.55[0.52, 0.57]、IQM(V) 为 0.70[0.69, 0.72]，最终贪心 IQM(Dnorm) 为 −0.03[−0.05, −0.01]。
• 单任务表里同为 tier 2 的条件，V 与 Dnorm+ 仍可差很多：Table A.7、d=25 的 PPO-Lag 训练 V 为 0.00±0.00，但 Dnorm+ 为 0.77±0.32。
• Figures A.3–A.6 是四任务、三安全界的平滑训练曲线，正文未从曲线读取具体端点数值。
• Table A.3 将 P3O 的 Final tier 标为 0，与 Table 2 的 tier 2 及该表自身的 IQM(Dnorm)、IQM(V) 点估计不一致。

作者指出的局限与后续方向

• 等级对单条阈值敏感：Discussion 指出，略微、稳定地超过 d 就可以把算法移动多个等级。Table 2 中 FOCOPS 训练期 IQM(Dnorm) 只略高于 0，却因此比 PPO-Lag 低两级，尽管其训练 IQM(V) 相当甚至更低。作者称 Table 1 的阈值在边界附近敏感，安全等级应与底层指标一起看，而不是单独当作摘要。
• IQM 只适用于可比较的指标：同一节指出，R̄ 与 C̄ 未归一化，任务间尺度可以差很多，所以安全等级只条件于 V、Dnorm 和 Dnorm+。（Discussion）
• 任务与安全界范围：Limitations 写明实证评测限于四个任务、三个安全界。作者称更广的任务域（Tomilin et al., 2025; Ramanujam et al., 2025）和更多安全界会加强结论的普遍性；所选条件旨在覆盖不同约束类型和任务复杂度。算力约为 NVIDIA L4（24GB）上 2880 GPU 小时。
• 算法家族：Limitations 称结果限于训练中允许越界、只渐近或近似保证约束的算法。训练期也不允许越界的更严方法（Alshiekh et al., 2018; Dalal et al., 2018; As et al., 2025; Cheng et al., 2019）尚未用该框架评测。作者提供开源套件，供他人用到其他算法和任务域。
• 仿真贪心与真实部署：Future Work 称，真实部署时期望仿真与真实表现的差距可以忽略；但本文算法即使只在仿真内，带探索噪声的最终策略与贪心策略之间已有差距。后续可以把仿真贪心回放与真实部署对比，并用 V、Dnorm、Dnorm+ 的分布直接量化。
• 差距依赖任务，以及把指标写进训练目标：Future Work 称 Appendix A.2.2 中，聚合看到的探索–贪心差距在任务间并不均匀，可继续研究。作者认为自然的延伸是把 V、Dnorm 或 Dnorm+ 直接放进训练目标，使优化标准与评测标准一致，而不是只用于评测。

实验覆盖范围

• 条件网格：CRAX 上四个 Level 1 任务（Safe Goal Point、Safe Circle Point、Safe Push Point、Safe Button Point）× 安全界 {15, 25, 50} × 四种算法 × 30 种子，共 1440 次运行，每次 5×10^8 环境步（Appendix A.1）。
• 报告层次：主文 Table 2 报告跨全部任务–安全界的训练 IQM 与最终贪心 IQM 及安全等级；Table A.2 比较最终探索策略与最终贪心策略；Table A.3 给出对应 95% CI。单任务均值 ±1σ 在 Tables A.4–A.7，训练曲线在 Figures A.3–A.6，最终回合代价分布在 Figures A.7–A.10。
• 评测协议：训练指标在探索噪声下、每批 2048 个回合记录，每种子 J=122 个点；最终贪心评测每种子 100 个回合。IQM 的 CI 使用 B=2000 的分层自助法。
• 所评算法的约束性质：实验算法为 PPO、PPO-Lag、P3O、FOCOPS。作者在 Limitations 说明，训练期禁止越界的 shielding、安全探索、ActSafe 和障碍函数方法尚未用该框架评测。
• 论文未报告：人工评审或与人工判断的一致性；Table A.2 中部分 IQM(Dnorm+) 的自助区间没有盖住点估计，论文未说明原因。Table A.3 把 P3O 的 Final tier 标为 0，与 Table 2 不一致。

Spoor、Plaat 与 Moerland 认为，安全强化学习沿用 CMDP 的 E[C]≤d，只报告平均是否安全，看不出越界频率和幅度，也分不清训练期、带探索噪声的最终策略和贪心部署策略。他们提出评测框架 SafeRLEval：越界率 V、按安全界归一化的平均代价偏差 Dnorm、只在越界回合上计算的归一化幅度 Dnorm+；用 IQM 跨任务和安全界聚合；按这些量划分 0–4 级安全等级；并用归一化代价偏差的经验 CDF 看整条分布。

实验在 CRAX 的四个 Level 1 导航任务、安全界 15/25/50 上训练 PPO、PPO-Lag、P3O 和 FOCOPS，各 30 个种子、5×10^8 环境步。Table 2 中，PPO-Lag 训练与最终贪心都是 tier 2；P3O、FOCOPS 训练为 tier 0、最终贪心为 tier 2。FOCOPS 训练 IQM(Dnorm) 只有 0.06，却因此比越界率相近的 PPO-Lag 低两级。最终贪心策略上，FOCOPS 的 IQM(R̄)=74.26、IQM(V)=0.29、IQM(Dnorm)=−0.19，作者称其奖励与安全的整体平衡最好；PPO-Lag 训练期 IQM(Dnorm+)=0.25，是四种算法里最低，但奖励较低。

作者的结论是：没有算法在所有条件和训练、最终策略两侧都占优；带探索噪声的最终策略在四个算法上一致比贪心策略更安全，因而不能用前者代表部署。聚合等级、CDF 和分任务分安全界的结果各自提供另外两者没有的信息，应一起报告。作者同时指出等级阈值在边界附近敏感，实验只覆盖四个任务、三个安全界，以及训练中仍允许越界的算法。