安全动作不等于可行动作：VICS-G 为 VLA 策略做可行未来解码

冻结 VLA 可能选出局部可接受、却切断自身安全完成路径的动作。 作者称之为 feasibility–likelihood gap：似然排序下一步，可行性取决于它留下的未来。

• 场景：策略按观测、指令和历史采样动作块。作者称预训练与示范先验并不确立能否安全做完；Figure 1 的选定导航里，RCD 以代价 3 失败结束，任务未完成。
• 不足：局部鲁棒解码只把对数似然与下一块预测裕度相加。作者称这不说明该动作是否还留下受策略支持的安全完成路线。
• 区分：可行未来质量的支持记录冻结延续下安全完成是否仍有正概率，幅度度量剩余加权质量。质量为零只针对这条冻结的策略–环境过程，不表示另一控制器必失败。
• 提出的对象：限制在安全完成上的轨迹律的精确下一步边际，加上选择性有限候选近似，以及训练无关重排器 VICS；无 rollout 的通用配置是 VICS-G。
• 威胁模型：
  • 目标：完成指令 x，并满足指定硬安全预算；可行轨迹集为 Gx。
  • 知识：策略 πθ 冻结。解码器只见有限的策略支持候选集 AK，且必须返回其中成员。论文未称该接口为 white-box 或 black-box。
  • 能力：推理时重排候选。VICS-G 不重训，主配置不做在线 rollout。监视信息包括执行结果、仿真代价、可见性与目标距离。
  • 环境：动作块经转移核改变隐状态；部分可观测与执行不确定使同一历史和动作块可到不同后继。延续仍由冻结策略产生。

论文在附录 J 按主题讨论相关工作，并在引言里点出部署时约束解码。

• KL 正则控制与概率推断

  • Todorov (2006)、Toussaint (2009) 与 Levine (2018)——用指数倾斜给出 KL 正则控制与 control-as-inference 的轨迹目标。
  • Zimmer et al. (2025)——在与教师散度有界的条件下优化任务奖赏，用于语言模型蒸馏。

• VLA 策略与安全对齐

  • RT-1、RT-2、PaLM-E、OpenVLA、Octo、π0 与 FAST——把机器人控制写成动作 token、块或连续轨迹上的条件生成。
  • SafeVLA（Zhang et al., 2025）——用约束策略优化做安全对齐，并引入 Safety-CHORES。论文称自身与之互补：checkpoint 固定，干预只作用于推理时的候选选择。

• 约束与前瞻解码

  • FUDGE 与 NeuroLogic A*esque——用未来判别器或前瞻搜索评估文本延续的下游性质。
  • Ji et al. (2025) 与 Nguyen et al. (2026)——把安全语言生成写成带任务与安全 critic 的约束序列推断，或用未来价值引导粒子重采样。
  • SafeDec（Kapoor et al., 2025）——对预测轨迹施加时序逻辑约束，包含硬掩蔽与 Robustness Constrained Decoding。

• 活力、运行时保证与评测

  • 活力理论与 Hamilton–Jacobi 可达性刻画仍可容许演化的状态；shield 与预测安全滤波器在运行时干预名义策略（Aubin, 1991; Bansal et al., 2017; Alshiekh et al., 2018; Hsu et al., 2023; Wabersich and Zeilinger, 2021）。
  • Saute RL 与带实时预算的离线安全强化学习用预算、增广状态或约束目标表示长程约束。
  • Safety-CHORES，以及 Fan et al. (2026) 的 SafeVLA-Bench，把任务完成与轨迹安全分开看。论文指出，累计代价下降也可能来自更早终止。

• 基线与基准：policy sampling；受 SafeDec 启发并适配到本文策略接口的 RCD（主实验与反馈实验 K=12）；去掉延续修正的零权重 VICS-G；失败后改选其他动作类型的 Switch after failure。基准是 Safety-CHORES 的 PickUp、ObjectNav 与 Fetch。

作者把轨迹倾斜用来定义策略相对的安全完成目标，并分析冻结 VLA 解码器近似其下一步边际时的支持–幅度结构和选择性有限候选损失。论文称其支持概念窄于全部可容许控制：它定义在冻结延续律下；部署的解码器既不重建完整信念，也不声称不变集或闭环保证。

VICS（Viability-Corrected Sampling）是训练无关的选择性重排器：先写出限制在安全完成上的精确下一步目标，再只用少量策略支持候选和动作前信息去近似它。

轨迹律与可行未来恒等式

• 冻结策略、转移核与观测过程诱导历史条件轨迹律 p0。参考构造沿用 KL 正则控制。在归一化常数有限且为正时，参考律把先验限制在安全完成集 Gx 上，再按奖赏与代价指数加权。作者称这是参考分布，不是说部署解码器求解了全局控制。
• 未来写成候选动作块加上后缀。只有由历史和动作确定的项进入局部奖赏与局部代价；随机执行代价留在延续期望中。累积预算的剩余量写入决策状态。
• Theorem 1 的下一步边际为 q^⋆(a∣ H_t)∝π_θ(a∣ H_t)exp(β R_loc−λ C_loc)Z_feas(H_t,a)。Zfeas 是冻结延续下、该动作之后的加权安全完成质量；β=λ=0 时它就是安全完成的条件概率。理想分数是该未归一化边际的对数，支持外为负无穷。
• 质量为零表示这条冻结过程不给安全完成赋质量，不表示任何控制器都会失败。Appendix E 用有限模型核对主要恒等式。

支持、幅度与四个近似界面

• 支持是 Zfeas 是否为正；幅度只在支持上取 Zfeas。支持外把幅度约定为 1，因此有限实用分数不能复现理想规则的字面零质量。局部分数相同的两个候选，可以一个有正质量、一个是安全死端。
• 四个界面是：干预（重排结果是否被执行）、覆盖（提案与准入留下哪些可行候选）、支持（可行动作被拒或死端仍合格）、排序（分数如何排列存活者）。
• 准入集是候选集、相对最高似然动作的信任域，以及预测安全与任务可行性过滤的交。这些检查不等于真实可行集。实用支持规则的拒绝集只用于构造存活集；解码器并不知道存活者里谁真正支持安全完成。
• Theorem 2：存活可行集非空、可行者压过残留死端，且可行者之间的成对分数误差不超过 ε 时，实用赢家可行，相对保留可行集内理想最优的遗憾不超过 ε。相对更大可行比较集，还要加上覆盖损失与误拒损失。门未触发、存活集为空或最终授权否决时，执行策略样本；若该样本质量为零，理想损失可为无穷。只触发重排并不约束已执行动作。

VICS-G 与 VICS-S

• 预动作接口含当前观测、指令、历史和监视信息。VICS-G 在干预时按对数似然、局部鲁棒和有界延续项 zG 排序。局部项看下一块风险；zG 用最近执行历史作未来可行性的廉价代理，包括近五步重复以及与失败或碰撞相连的重复。可见性与距离进入准入和进展检查，不进入 zG。
• 作者称 zG 不是对数可行质量的校准估计，也不认证支持；恢复保证仍取决于总分数的成对误差。六设置共享温度 1 与权重 (λc, ηv)=(1, 0.1)。候选为策略样本加似然最高的 12 个动作，去重后规模不超过 13。信任半径默认为 6，目标不可见、无新物体且近十步为运动、臂或腕动作时增至 12。动作组系数见 Table 4。
• VICS-S 用符号规则限制资格，再用通用分数排序留下的候选。评估中的 Fetch 变体改为在全部 20 个动作上做规则过滤恢复，省略信任域；base 的倾斜系数为 0，safety-aligned 为 0.25，ηv 不影响选择。作者称这些是任务特定诊断，部分规则不认证完整可行性。

执行规则与前瞻对照

• VICS-G 的门在样本重复失败或碰撞相关动作、未通过终止准入，或存在显式硬禁止时触发重排。存活集为空或替换未获授权，则保留样本。PickUp 与 Fetch 在目标可见且距离缺失或不大于 1.2 米时准入终止动作；ObjectNav 另有导航终止式与替换门槛。Algorithm 1 给出通用流程。
• 可分支时，Corollary 1 给出独立延续样本在权重有界、可行质量有下界且理想裕度足够时保留理想赢家的充分样本量。VICS-R 从重构仿真状态出发，候选之后改跟 VICS-G，作者称其延续律和选择规则不同于精确目标。学习型安全完成 critic 留待后续。
• RCD 受 SafeDec 启发，使用同一策略与监视器；评估配置的局部风险与 VICS-G 的局部项相同，但没有额外的门、信任域、符号规则或最终否决。ηv=0 只去掉 zG，门、信任域、过滤、依赖历史的局部分数和回退仍在。

作者把安全代价、任务完成和回合长度一起读：更低代价既可能是更安全的完成路径，也可能是提前结束。

实验设置

• 策略与数据：task-optimized（base）与 safety-aligned（safe）两个 SafeVLA checkpoint，权重固定。Safety-CHORES 为 PickUp 160、ObjectNav 200、Fetch 172 个 episode，按方法与 checkpoint 计；同设置内共享 episode 与随机种子。
• 方法：policy sampling、RCD、VICS-G、VICS-S。除另有说明外 K=12。通用配置在每任务族约 10% episode 上选出，报告覆盖全量 episode。
• 指标：成功率（率与计数）、平均累计代价、违规次数、回合步数。safe success 要求完成且零违规。ΔS 与代价降幅相对策略采样。六设置结果是描述性汇总。
• 判定：代价来自仿真器安全监视器，成功来自任务环境。论文未使用单独的评审模型，也未报告这六组的重复运行次数。
• 其他协议：反馈检验为预设；权重研究为探索性。rollout 比较在修改后的可分支模拟器中重跑，与 Table 1 分开。

主结果

据 Table 1，VICS-G 相对策略采样：

Swipe horizontally to read the table

设置	策略采样成功率	VICS-G 成功率	ΔS（pp）	VICS-G 代价	代价降幅
PickUp / base	.894 (143/160)	.894 (143/160)	0.0	1.625	1.9%
PickUp / safe	.925 (148/160)	.931 (149/160)	+0.6	.344	14.1%
ObjectNav / base	.780 (156/200)	.755 (151/200)	−2.5	3.385	57.5%
ObjectNav / safe	.850 (170/200)	.850 (170/200)	0.0	.855	23.7%
Fetch / base	.488 (84/172)	.512 (88/172)	+2.3	10.779	28.4%
Fetch / safe	.570 (98/172)	.558 (96/172)	−1.2	3.006	13.3%

• 作者称六个设置的观测平均代价都下降，违规也都更少，更低代价伴随持续任务进展；并称成功率保持在策略采样的 2.5 个百分点以内，平均回合长度差不超过 0.82 步。
• 作者称 RCD 原始代价更低，但相对策略采样成功率下降 3.5–20.3 个百分点，回合缩短 4.4–37.5 步。Table 1 中 RCD 的最大成功率降幅在 Fetch/safe，为 −20.3 个百分点。
• VICS-S 在 base Fetch 的联合变化为成功率 +3.5 个百分点、代价降幅 46.0%、违规降幅作者写作 41.5%。五个设置的代价降幅为 10.3%–47.3%；Fetch/safe 的代价降幅为 −38.3%，成功率 .587（101/172），步数 125.71，高于策略采样的 114.38。作者称该设置成功率最高，但代价更高、回合更长。

执行反馈

• 在 safety-aligned Fetch、ρ=0.1 上，比较策略采样以及带/不带上一动作命令–实现记录的 VICS-G。IID 与 episode-persistent 等权，每方法 688 次执行、172 个配对任务，K=12。无扰动运行，以及扰动下的 RCD 与 Switch after failure，是看到初步结果后补充的。
• Table 2 的描述性汇合均值：带反馈的 VICS-G 成功率为 55.67%，safe success 28.92%，代价 3.64，相对策略采样的代价降幅 15.9%，步数 116.9。作者称违规比策略采样少 16.6%。RCD 代价 1.98，成功率 37.79%。
• 相对同一解码器的掩蔽版本，成功率差为 +0.58 个百分点，95% 区间 [−1.16, 2.33]，满足预设的 5 个百分点容差；代价差的区间跨过 0，确认性序列在与策略采样比较之前停止（Table 9）。作者称增量安全收益仍不确定。无扰动时代价估计偏向掩蔽（Table 8）。

前瞻增强

• VICS-R 在修改后的可分支模拟器中，对全部 172 个 safety-aligned Fetch 任务各评估一次，池中含 12 个开发任务与 160 个评估任务，回合预算 200 步。它至多做一次早期前瞻：前 16 步内、尚未产生安全代价且 VICS-G 本会保留非终止动作时，把当前动作与至多两个替代相比较，每候选四条延续，执行零代价完成概率估计最高者，然后交回 VICS-G。
• Table 6：VICS-R 与 VICS-G 的任务成功率同为 58.72%；safe success 从 27.91% 到 30.23%；平均代价从 3.233 到 3.116。作者称代价下降 3.6%，配对 safe-success 差异的双侧 exact McNemar p=0.344，并称该差异不是 statistically significant。
• 作者称这是探索性比较：它同时加入延续证据和一次干预机会，因此没有分离加性延续项；延续律、状态条件和只按概率排序也不同于理想冻结策略分数。四条样本与回放一致并不确立 Corollary 1 的假设。

其他消融与分析

• ηv=0.10 相对 0：六设置中五处平均违规下降、四处平均代价下降；ObjectNav/base 成功率 −3.00 个百分点，代价 +0.91、违规 +1.09、步数 +3.25（Table 5）。
• Table 5 的代价与违规区间都含 0；ObjectNav/base 的成功率区间 [−6.00, −0.50] 不含 0。作者称观测到的代价与违规下降并未确立安全性改进。Fetch 扫描枚举全部 20 个动作，不能拆解主实验的 top-12。
• 无扰动时，反馈减掩蔽的代价为 +0.378，成功率 −0.58 个百分点，区间含 0（Table 8）。作者称清洁条件下的代价估计偏向掩蔽。
• Table 2 中 Switch after failure 的汇合成功率为 53.92%，代价降幅 1.3%；该行是事后补充基线。
• Appendix A 的选定回合不认证隐可行未来质量：导航中策略采样与 VICS-G 前 68 步相同，结局代价为 23、3 与 11；Figure 4 用 600 步预算且与主实验分开，结局代价为 19、3 与 12。

作者指出的局限与后续方向

• 评估覆盖三个仿真任务族；执行反馈只在两种执行扰动模型、一种强度下测试。更广扰动和物理机器人是后续工作（§4.5）。
• 解码器依赖启发式延续分数、部分符号规则和选择性干预门，收益可能随任务与 checkpoint 变化（§4.5）。
• 理论界以分数精度和候选覆盖为条件（§4.5）。
• rollout 扩展改变了延续律，并多一次干预机会；它既未分离加性延续分数，也未认证模拟器状态被精确恢复（§4.5）。
• 学习得到的安全完成 critic 是另一种近似，作者留待后续（§3.3）。
• 更大的 rollout 预算和重复前瞻留待后续（Appendix H）。

实验覆盖范围

• 主比较使用 task-optimized 与 safety-aligned 两个 SafeVLA checkpoint，任务为 PickUp（160）、ObjectNav（200）和 Fetch（172）；方法为 policy sampling、RCD、VICS-G、VICS-S，同设置共享 episode 与种子（§4.1，Table 1）。
• 通用系数在每任务族约 10% episode 上选出，报告结果覆盖完整 episode 集；六设置汇总是描述性的。论文未报告这六组的重复运行次数，也未使用单独的评审模型（§4.1）。
• 执行反馈在 safety-aligned Fetch、ρ=0.1 的 IID 与 episode-persistent 扰动上比较；预设分析为每方法 688 次执行。无扰动运行和部分基线是事后补充，确认性序列在代价比较未成立后停止（§4.3，Appendix I）。
• 权重扫描取 ηv 为 0、0.05、0.10、0.20；Fetch 扫描枚举全部 20 个动作，与主结果的 top-12 加策略样本不同（Appendix G）。
• VICS-R 在修改后的模拟器上重跑 172 个 Fetch 任务，与 Table 1 分开；每候选 4 条延续，至多一次早期前瞻（§4.4，Appendix H）。

训练无关解码器 VICS 在冻结 VLA 的推理阶段重排动作块，使当前选择带上该动作仍可能留下的安全完成质量。

• 问题：局部可接受不等于这条冻结策略还能安全做完。作者称似然只排序下一步，可行性取决于延续；用提前结束换低代价会留下未完成任务。
• 做法：从限制在安全完成上的轨迹律推出精确下一步边际，把误差拆成干预、覆盖、支持与排序。门触发后，VICS-G 用策略似然、局部鲁棒和有界历史代理重排；VICS-S 另加任务相关资格规则；VICS-R 在有限仿真预算下至多前瞻一次。策略不重训。
• 主结果：Table 1 的六个 Safety-CHORES 设置中，VICS-G 的代价降幅为 1.9%、14.1%、57.5%、23.7%、28.4% 与 13.3%，ΔS 为 0.0、+0.6、−2.5、0.0、+2.3、−1.2 个百分点。作者称违规在每个设置都更少，平均回合长度差不超过 0.82 步。
• 对照：作者称 RCD 原始代价更低，但成功率下降 3.5–20.3 个百分点、回合缩短 4.4–37.5 步。Fetch/safe 上 VICS-S 的代价降幅为 −38.3%。ηv=0.10 在 ObjectNav/base 上成功率下降 3.00 个百分点，且 Table 5 的代价与违规区间都含 0。
• 扩展：安全对齐 Fetch、ρ=0.1 时，带执行反馈的 VICS-G 描述性成功率为 55.67%，作者称观测代价比策略采样低 15.9%（Table 2）。预设检验只通过相对掩蔽版本的成功率容差，代价区间跨过 0。修改模拟器中 VICS-R 的 safe success 为 30.23%，任务成功率与 VICS-G 同为 58.72%（Table 6）。
• 作者的结论：作者称选择性干预降低了观测安全代价，同时保留接近策略采样的完成和持续任务进展；每次动作应按它仍可能保住的安全未来来判断。理论界取决于分数精度与候选覆盖，物理机器人与更广扰动被写为后续工作。