FAITH：面向高维系统的可行性感知安全过滤强化学习框架

安全与任务回报写进同一次策略更新时会互相竞争；没有安全动作时，经典硬投影也给不出最小伤害动作。

• 部署场景：作者认为强化学习已能支持高维足式和人形机器人的敏捷行为，但在人或设备附近部署时，每个连杆都要留在受保护区外。接触丰富、欠驱动系统的安全还取决于未来动作能否最终避免违规。
• 两区目标：强扰动可使违规不可避免。作者要的控制器在安全可行时安全地最大化任务回报，否则只最小化伤害。当前几何安全（h(s)≤0）并不等于存在能一直避开不安全集的策略。
• 写进目标的做法：惩罚、原对偶乘子和原始方法的约束削减都作用在任务策略上。作者认为权重过小会允许违规、过大则保守，原对偶还会换成不稳定的鞍点问题；更新方向相反时，提高安全会抵消任务进展。
• 动作过滤的缺口：经典最小干预过滤器需要解析安全函数和动力学，只最小化瞬时动作偏差，固定名义策略不能适应干预对长时域回报的影响。学习到的非线性约束使高维动作上的在线优化或采样困难；没有可行动作时投影无定义。
• 本文提出的框架：作者提出无模型的 FAITH（Feasibility-Aware safety-fIlTered RL for High-dimensional systems）。它近似最优状态-动作安全值，用前馈网络摊销最小干预，并让任务策略只在过滤后的动力学上优化未改动的任务回报；接受条件无解时，同一过滤器转向预测峰值伤害更低的动作。

可行性感知安全强化学习

• 可达性：Hamilton–Jacobi 可达性刻画哪些状态能避免未来违规（Fisac 等，2019；Wabersich 等，2023）。神经求解器近似其动态规划，强化学习表述则从采样转移估计该值（Bansal 与 Tomlin，2021；Feng 等，2025；Hsu 等，2021）。
• 写入策略优化：后续工作把该值通过乘子、依赖可达性的目标或可行性引导的生成放进任务策略优化（Yu 等，2022；Ganai 等，2023；Zheng 等，2024），并把表述扩展到 stabilize-avoid 与未知可行性（So 与 Fan，2023；So 等，2026）。论文只把这些工作描述为把安全值写入策略优化，没有逐篇批评。

安全过滤器

• 执行前修正：安全过滤器在驱动前修正名义动作，从而把任务控制与安全强制分开（Ames 等，2017；Wabersich 等，2023）。
• 两条学习路线：一条学习过滤函数并保留在线过滤；另一条直接学习修正，或在过滤后的动力学上训练任务策略。论文把 Robey 等（2020）、So 等（2024）、Oh 等（2025、2026）、Thananjeyan 等（2021）、Hsu 等（2023）、Kim 与 Kim（2026）归入前一条，把 Yu 等（2022）、Bejarano 等（2025）、Yang 等（2025）、Yun 等（2026）归入后一条。

足式与人形安全控制

• 屏障与全身约束：足式安全过滤从降阶屏障控制器到全阶方法（Cohen 等，2024；Nguyen 等，2025）；近期人形工作处理关节、驱动和连杆级约束（Yang 等，2025；Chen 等，2025 等）。
• 切换与跌倒：学习可达性被用于安全集估计和恢复策略切换（He 等，2024；Chen 等，2026）；保护性跌倒策略用于减轻机器人损伤（Meng 等，2025；Xu 等，2025）。

基线方法与基准

• 基线：双积分器与 Safety Gym 使用 RCRL、作者对 CRPO 的可行性感知改写 RC-CRPO、从奖励中减去 β[h]+ 的 PPO(β)，以及降阶控制屏障函数 ROCBF(α)。人形实验使用无安全项的 PPO（No Filter）和以它为名义策略的 ROCBF(α)。
• 环境：一维 double integrator、Safety Gym 的 SafetyCarCircle1-v0，以及 Isaac Lab 中 29 自由度 Unitree G1 的 Walking-Avoid 与 Push-Avoid。

作者采用同一两区问题，但用修正网络在动作上强制安全，任务策略只在过滤动力学下优化回报，更新里没有与之竞争的安全项。前馈过滤器在部署时不需要动力学模型或在线求解；学习接受集为空时，同一损失优先更低的预测伤害。作者还称，这一结构让保护区净空优先于平衡，而不需要专门的跌倒奖励、模式切换或单独恢复控制器。

整体上，FAITH 把安全学习放在评论家、备份演员和前馈过滤器里，任务策略只在被过滤后的动力学上最大化原始任务回报。部署时只前向计算任务策略和过滤器。

两区问题

• 系统：离散时间、未知确定性动力学 sk+1=f(sk,ak)。策略的任务目标是初始分布上的折扣回报，折扣因子 γ∈[0,1)，回报假定有限。
• 伤害与可行集：带符号伤害 h 定义不安全集 Su={s:h(s)>0}，正值表示违规严重程度。最优安全值为 V_h^⋆(s):=min_πsup_{k≥ 0}h(s_k)，可行集是该值不超过 0 的状态。因为动力学和驱动限制，h(s)≤0 并不表示状态可行。
• 两区目标：可行时，在峰值伤害不超过 0 的约束下最大化回报；不可行时只最小化峰值伤害。

安全评论家与备份演员

• 最优安全评论家：状态值不能在未知动力学下比较候选动作。Q⋆h(s,a) 是从该状态-动作出发、其后动作由某策略产生时，峰值伤害的最小上确界。Q⋆h(s,a)≤0 表示该动作容许一条持续安全的轨迹，对动作取最小即恢复最优安全值。
• Bellman 与近似：最优评论家等于当前伤害与后继状态上最小后继安全值中的较大者。备份演员 μψ 在回放状态上最小化 Qh,ϕ(s,μψ(s))，用来代替对下一动作的最小化。评论家回归到 y=(1−γh)h(s)+γh max{h(s), Qh,ϕ̄(s′,μψ(s′))}，目标网络用 Polyak 平均更新。
• 不是形式证书：该目标对应折扣安全 Bellman 不动点；γh<1 时可以不同于 Q⋆h。加上近似误差，作者把 Qh,ϕ(s,a)≤0 写成实用的安全估计，而不是形式证书。作者写可以采用集成和目标策略平滑。回放缓冲保留不安全和近边界转移；人形实验还惩罚备份动作偏离已执行动作，以减小外推误差。

前馈安全过滤器

• 摊销投影：接受条件为 Qh,ϕ(s,a)+δ≤0，δ≥0 为裕度。执行动作是 aexec=clipA(anom+Δω(s,anom))，避免在高维动作空间里在线解非线性投影。
• 训练损失：训练分布 ν 由回放状态，以及回放动作与随机名义动作的混合构成。损失为 L_F(ω)=𝔼_ν[|a_exec−a_nom|²+λ[Q_h,ϕ(s,a_exec)+δ]₊]。过滤器初始化接近恒等映射，训练中把 λ 增大到 λmax≫1。
• 两种情形：名义动作已在学习接受集内时，理想过滤器保持它；否则优先满足学习约束，并由偏差项选择改动较小的动作。若所有动作都使 Q+δ>0，铰链在整个动作集上激活，增大 λ 即优先更低的预测峰值伤害，不切换恢复控制器。
• 论文给出的界：在动作集紧、Q 对动作连续、且每个输入的损失被全局最小化时，该最小化器与 Q 的最小点之差不超过 diam(A) 的平方除以 λ，速率为 O(1/λ)。对学习到的过滤器，论文写明该关系只成立到学习误差为止。

经滤波器训练任务策略

• 过滤动力学：任务策略采样名义动作，环境只执行过滤后的动作。过滤后的转移和奖励都把执行动作代入未知动力学和原始奖励。PPO 最大化这条过滤轨迹上的折扣回报，每次策略更新时固定过滤器参数。安全改变策略经历的轨迹，但不进入任务奖励。
• Lemma 1：若滤波器在可行集上完美——可行状态上任意名义动作都被映回可行集，且原动作已使后继可行时不做修改——并满足所引定理的条件，则过滤回报的上确界等于安全策略回报的上确界。全局优化含有最优策略的策略类，即恢复可行区的约束问题。
• 不是部署保证：Remark 1 写明，精确投影到 Q⋆h≤0 才给出完美滤波器；学习滤波器只是近似，因此 Lemma 1 不是已部署控制器的保证。

训练循环

1. 在线回合只用于 PPO 更新任务策略；评论家、备份演员和过滤器从回放做离线更新。
2. 以一定概率执行备份策略，避免安全值分布外；这些轨迹只进回放，不进 PPO。论文未给出该概率。
3. 部署只需要任务策略和过滤器的前向计算。作者在 Remark 2 中对比：目标内方法用同一策略调和安全与回报；FAITH 用过滤器损失更新安全、用 PPO 更新回报，二者不在同一次任务策略目标里竞争。

实验设置

• 问题与环境：Q1 问可行起点能保留多少回报并满足安全；Q2 问伤害不可避免时能否降低伤害；Q3 问能否扩展到带全身约束的高维系统。环境为一维 double integrator、Safety Gym 的 SafetyCarCircle1-v0，以及 Isaac Lab 中 29 自由度 Unitree G1 的 Walking-Avoid 与 Push-Avoid。
• 任务：DI 的状态为 (p,v)，动作 a∈[-1,1]，h(s)=|p|−1，回报为 −min{|p−2|,|p+2|}，初值 p,v∼U[−1,1]，因此安全与回报冲突。人形用网格膨胀点表示 31 个连杆，h 为任一点进入无限高平面保护区的最大带符号穿透；仿真观测为解析 64 束、360° 平面 LiDAR。Walking-Avoid 从保护区外静止出发，作者称保持静止即可行；Push-Avoid 在每回合开始施加推力，真实可行集未知。
• 规模：DI 与 Safety Gym 每种方法 3 个 seed。DI 训练 2000 次迭代，在第 1800、1900、2000 次中选最安全检查点，平局取更高回报；验证集与评估集独立，评估 4096 个 episode。Safety Gym 的检查点选择与 Section V-A 相同。人形按 4096 条轨迹报告。论文未报告人形 seed 数，也未报告 Safety Gym 的迭代数。
• 基线：低维环境为 RCRL、RC-CRPO、PPO(β)、ROCBF(α)。人形为无安全项的 PPO（No Filter），以及以其为名义策略、过滤平面速度指令的 ROCBF(α)；机体膨胀半径 0.40 m，α∈{0, 0.1, 1, 5}。作者称因其他基线在人形上表现差而省略。
• 指标：安全率是安全轨迹比例，不安全集为 h(s)>0。同时报告任务回报、DI 不可行起点的平均峰值伤害，以及 Push-Avoid 共同失败子集上的峰值穿透。该子集是所有被评方法都违规的初始状态，作者不把它标成物理不可行。脚注写明安全按人员保护定义，跌倒本身不算不安全。论文未使用 LLM 评审。
• 人形奖励：含速度跟踪、足滑惩罚及相关运动项，并对接触力惩罚，头和手的权重大于躯干。论文未给出各项权重。

主结果

人形主结果如下。± 为 episode-level standard deviation；安全率未给标准差。Walking-Avoid 据 Table I，Push-Avoid 据 Table II。

表格较宽，可左右滑动

方法	WA 安全%	WA 回报	PA 安全%	PA 回报	失败子集峰值伤害
No Filter	80.37	2428±288	21.53	123.2±96.0	0.253±0.149
ROCBF(0)	99.95	2094±342	84.52	115.5±64.3	0.172±0.146
ROCBF(0.1)	99.95	2182±330	83.35	116.3±41.3	0.175±0.140
ROCBF(1)	99.71	2362±307	78.56	117.1±87.0	0.165±0.140
ROCBF(5)	94.80	2373±303	60.11	115.5±96.6	0.166±0.133
FAITH	99.95	2365±345	85.45	80.0±104.9	0.153±0.184

• Walking-Avoid：FAITH 的安全率与表中最高值相同，高于 ROCBF(1) 与 ROCBF(5)。作者称这相当于保留无过滤回报的 97%；同安全率下，其回报高于 ROCBF(0) 与 ROCBF(0.1)。ROCBF(5) 的回报高于 FAITH，安全率更低。
• Push-Avoid：FAITH 的安全率高于表中其他行，回报低于各 ROCBF 与 No Filter。作者称这是因为它牺牲平衡以保持净空，而不用安全换更高回报。Fig. 6 图注称：推力可承受时机器人直立并留在红框外；推力过强时牺牲平衡、倒下并保护头和手。
• 共同失败子集：FAITH 的峰值伤害低于表中其他行。作者称同一策略-过滤器在没有回退控制器或显式模式切换时限制全身穿透。

低维环境

• 可行起点：作者报告 DI 上 FAITH 安全率 100%，且在所有安全方法中回报最高（Fig. 3 左，误差棒为 min-max）。正文未给出该图各方法的回报数值。采样重置中有 350 个不可行状态。
• 不可行起点：Fig. 3 将 FAITH 的平均峰值伤害标为 0.1499±9e−6，并将 PPO(100) 标为 0.1499±3.4e−5；作者称二者同为最低。Fig. 4 图注称，FAITH 在访问过的状态上与解析可行集接近，可行起点沿边界取得最高回报并保持安全，不可行起点立即最大制动。图中其余方法的峰值伤害标注与正文交错，这里不逐条转写。
• 作者对基线的解读：RCRL 在种子间方差大，作者认为可能来自不稳定鞍点；RC-CRPO 越过边界，作者认为可能来自安全与性能的竞争更新；PPO 呈现安全-性能权衡；ROCBF 忽略加速度限制，轨迹次优。Safety Gym 的全部初始状态可行；作者报告 FAITH 安全率 100% 且平均回报高，所评基线均出现违规（Fig. 5）。正文未给出 Fig. 5 各点数值。

设计消融

• 相对解析参考：Table III 中 Oracle 回报 −219.37、安全率 100.00%、峰值伤害 0.1499；FAITH 为 −220.64±0.23、100.00%、0.1499±9e−6；经地面真值 CBF 训练的 PPO+GTCBF 为 −219.40±0.01、100.00%、0.1500。作者称 FAITH 紧跟这两者给出的解析最优解。PPO+ROCBF(3) 回报 −187.46±0.04 更高，但安全率 0.00、峰值伤害 1.3501±1.7e−4。
• 去掉两个组件：去掉经滤波动力学训练后，DI 回报为 −230.45±1.71、安全率 97.52±2.74%；Car-Circle 回报 8.96±5.21、安全率 98.44±2.07%（Table III、IV）。作者认为回报下降是因为 PPO 不适应滤波器，安全下降可能是因为策略输出更多不安全动作并塞满回放。去掉备份回放后，DI 安全率为 83.87±27.92%，作者认为安全值可能分布外。
• 固定过滤器：把 FAITH 的过滤器固定后再训 PPO，DI 回报 −221.09±0.22、安全率 99.98±0.04%，Car-Circle 回报 18.46±1.39、安全率 100.00%。作者称两个环境都与完整 FAITH 相近。

硬件演示

• 流水线：作者在 29 自由度 Unitree G1 上做定性演示，箱子表示保护区。10 Hz LiDAR 经 SLAM 去地面后，在 360° 的 64 个等宽方位箱中保留最近点，与仿真观测格式一致，扫描之间保持该观测。
• 频率：50 Hz 的 FAITH 结合该观测与当前状态生成关节位置目标，1000 Hz PD 跟踪。Fig. 7 图注称，虚线框标出仿真中建模的部分，包括 G1 动力学和解析生成的波束输入。
• 现象：正文称较轻推力下机器人恢复直立并避开箱子（Fig. 1(a)）；较强推力下倒向腿和躯干、离开保护区（Fig. 1(b)），并称这与训练中头、手接触惩罚一致。图注还写强推力下保护头和手。论文未报告硬件安全率或伤害统计。

其他消融与分析

• DI，PPO+ROCBF(0.5)：回报 −241.39±0.01，安全率 99.95%，峰值伤害 0.1506（Table III）。
• DI，数值搜索：回报 −220.65±0.10，安全率 100.00%，峰值伤害 0.1500±1e−4；Car-Circle 安全率 96.88±2.07%、回报 18.84±0.37。搜索在 Q≤−δ 时保留名义动作，否则采样 1025 个动作；作者称两环境都慢 18 倍。
• DI，0.25λmax：安全率 0.01±0.01%，峰值伤害 0.3313±0.11，回报 −208.23±10.46；0.5λmax 安全率 99.99±0.01%，2λmax 安全率 100.00%、回报 −221.42±0.44（Table III）。
• Car-Circle，完整 FAITH：回报 19.20±0.71，安全率 100.00%；0.25λmax 安全率 95.31±5.63%，0.5λmax 为 99.48±0.90%，2λmax 回报 17.92±0.88、安全率 100.00%（Table IV）。
• Car-Circle，去掉备份回放：安全率 97.66±3.41%，回报 18.17±1.29；去掉滤波动力学训练的数字见上一节（Table IV）。
• 作者称 λmax 需要足够大：降到 0.25 倍会降低安全并提高峰值伤害，升到 2 倍可保持安全率但回报略低，0.5 倍的变化下结果仍接近完整方法。

作者指出的局限与后续方向

• 无形式保证：折扣、有限的 λ 和学习误差使学到的控制器没有形式安全或最优性保证（Limitations）。
• 评测对象：评测限于平面受保护区，不含冲击严重程度和人体伤害（Limitations）。
• 硬件统计：硬件演示是定性的，没有安全或伤害统计，也没有量化 LiDAR 噪声、控制延迟和通信延迟的影响（Limitations）。

论文的 Limitations 没有另列后续实验计划。Conclusion 重述了方法结论，没有单独列出未来工作。

实验覆盖范围

• 仿真对比包括一维 double integrator、SafetyCarCircle1-v0，以及 Isaac Lab 中 29 自由度 Unitree G1 的 Walking-Avoid 与 Push-Avoid（Section V）。
• DI 与 Safety Gym 各用 3 个 seed；DI 训练 2000 次迭代，在第 1800、1900、2000 次中选检查点，并评估 4096 个 episode。人形结果按 4096 条轨迹报告安全率、回报和共同失败子集上的峰值穿透。论文未报告人形实验的 seed 数，也未报告 Safety Gym 的训练迭代数。
• 低维基线为 RCRL、RC-CRPO、PPO(β) 与 ROCBF(α)。人形基线为 No Filter 与 ROCBF(α)，α 取 0、0.1、1、5，机体膨胀半径 0.40 m；作者写因其他基线在人形上表现差而省略（Section V-C）。
• 消融在 DI（Table III）与 Car-Circle（Table IV），包括固定过滤器再训 PPO、去掉滤波动力学、去掉备份回放、1025 动作的数值搜索，以及 0.25、0.5、2 倍 λmax。
• 硬件为 Unitree G1 的定性演示，感知 10 Hz、推理 50 Hz、底层 PD 1000 Hz（Section VI）。论文未报告 γh、δ 与 λmax 的具体数值，也未报告备份策略的执行概率。

FAITH 是面向高维系统的无模型安全过滤强化学习框架：安全修正与任务回报分属不同模块。

• 问题：把安全和回报放进同一次策略更新，二者可能互相抵消。经典过滤器还依赖解析安全函数和动力学，只最小化瞬时动作偏差；没有安全动作时，硬投影无定义。作者要区分“还能永远避开违规”和“只能降低峰值伤害”。
• 做法：备份演员给安全评论家提供低伤害动作，评论家近似最优状态-动作峰值伤害。前馈残差网络在学习接受集非空时做最小干预，为空时随惩罚系数增大而偏向更低的预测伤害。任务策略用 PPO，只在过滤后的动力学上最大化未改动的任务奖励。完美滤波器加所引条件时，Lemma 1 恢复可行状态上的约束最优；Remark 1 写明这不是学习控制器的保证。
• 低维结果：双积分器可行起点上，FAITH 安全率 100%，作者称在安全方法中回报最高。不可行起点的平均峰值伤害为 0.1499±9e−6，与 PPO(100) 的 0.1499±3.4e−5 同为 Fig. 3 标注的最低。SafetyCarCircle1-v0 的起点都可行，FAITH 安全率 100%，所评基线都有违规。
• 人形结果：Walking-Avoid 中 FAITH 安全率 99.95%，回报 2365±345；作者称这是无过滤回报的 97%。Push-Avoid 安全率 85.45%，为 Table II 最高，回报 80.0±104.9，低于 No Filter 的 123.2±96.0；共同失败子集峰值伤害 0.153±0.184，为表中最低。作者称策略会牺牲平衡、远离保护区倒下。
• 作者结论：安全与回报因此不在任务策略目标里竞争；学习可行集为空时，过滤器趋向最小预测峰值伤害。同一控制器在 Unitree G1 上做了定性演示。作者指出，折扣、有限 λ 和学习误差使该控制器没有形式安全或最优性保证。