Detection and suppression: a mechanistic interpretability defense against adversarial patches for VLA models

不微调 VLA，只在检出对抗 patch 时抑制与之相关的内部特征。

• 场景：作者称 adversarial patch 通过改视觉观测扰乱 vision-language-action（VLA）策略，并造成机器人控制失败。相关工作写，视觉扰动可影响后续动作、打断任务执行。
• 现有做法：防御或预处理图像，或对抗微调参数。作者称微调需要额外训练策略；JPEG compression 与 Gaussian blur 对文献 [3] 中的 patch 攻击保护有限。
• 观察：已有工作用内部方向和 SAE 特征引导正常行为。作者称把这些特征用于对抗防御仍少被考察；无差别抑制又可能破坏正常策略，因此要同时决定抑制哪个特征、何时抑制。
• 做法：推理时用 SAE 定位与 patch 出现相关的特征，用线性探针检测，仅在检出时抑制，VLA 参数不变。评测为 LIBERO-10 上的间歇 UADA。
• 威胁模型：
  • 防御目标：提高攻击下的任务成功率，并限制干净观测下的下降。
  • 攻击目标：UADA 为无目标攻击，优化 patch，使预测动作偏离 ground-truth；语言指令不变。
  • 能力：每个受害模型一个 universal patch，针对动作 DoF 1，加到该模型使用的每个相机视角。主评测中以 n=3 或 n=10 段出现，每段 10 帧。
  • 防御侧：读取内部表示并干预，不改输入图像与策略参数。论文未使用 white-box 或 black-box 称呼这一设置。

图像分类与检测中的 patch

• 局部模式：Brown et al.（2017）与 DPatch（Liu et al., 2018）用局部视觉模式改变分类器与检测器预测。
• 视角变化：Eykholt et al.（2018）与 Athalye et al.（2018）使扰动对视角变化更稳，包括物理可实现的情形。
• 输入侧防御：PatchGuard（2021）、PatchCleanser（2022）与 PAD（2024）分别掩码受损特征、做可证明的输入掩码，以及定位并去除 patch。

VLA 上的攻击与已有防御

• UADA：Wang et al. 提出增大动作差异的攻击，以及操纵机器人轨迹的 patch。
• 后续攻击：攻击视觉嵌入与图文对齐；覆盖文本、视觉与跨模态；构造跨模型、任务与视角迁移的 universal patch；或只用执行轨迹的短前缀优化 patch。
• 已有防御：预处理输入或微调模型。作者称 JPEG compression 与 Gaussian blur 对 [3] 所研究的 patch 攻击保护有限。Xu et al. 对抗微调视觉编码器，使干净与受扰输入的表示对齐。作者将本文区别为：推理时改内部表示，输入图像与策略参数不变。

SAE 与 VLA 行为

• 稀疏特征：SAE 把激活分解为可分析的稀疏特征，并被用于语言模型、CLIP 视觉概念与多模态表示。
• VLA 引导：与运动属性相关的方向可在推理时引导行为；另有工作识别运动基元、语义概念与行为事件，并用闭环干预检验其影响。
• 作者的缺口：作者称这些研究主要考察正常行为，把此类特征用于对抗防御仍少被考察。

表示干预作为防御

• CLIP：Dyslexify 不微调，消融把字体信息传到 CLS token 的注意力头，以提高对字体攻击的鲁棒性；抑制视觉 Transformer 中特定 SAE 特征也用于减轻字体攻击。
• 条件与代价：放大拒答相关 SAE 特征可提高抗越狱能力，但会降低正常输入上的表现。自适应激活转向按输入调整有害方向的去除量；条件激活转向用隐藏状态决定何时转向；以提示词安全分类器为条件，可减轻正常输入上的回退。
• 实验基线：Baseline、w/o Det. 与 w/ Oracle Det.，基准为 LIBERO-10。

作者把条件干预接到 VLA 的对抗 patch 防御：只在隐藏状态上的线性探针检出攻击时，抑制与 patch 出现相关的 SAE 特征，并在闭环控制中同时测量攻击与无攻击条件下的任务成功率。

方法是条件特征干预。VLA 参数固定。先用 TopK SAE 找与 patch 出现相关的特征，再用不超过该层的线性探针决定是否干预，仅在检出时从每个 prefix token 表示中减去该特征贡献。

问题设定

• 输入：动作由策略根据视觉观测和语言指令生成。观测含 agent-view、wrist-view 或二者，视模型而定。
• 攻击：UADA 无目标地优化 patch，使预测动作偏离 ground-truth。受攻击的是观测，语言指令不变。
• 目标：提高攻击下的任务成功率，并限制干净观测下的下降。

选定攻击相关特征

• 表示：对某一层、某控制步的各 prefix token 表示做均值池化，再送入该层 SAE 编码器，得到特征激活。
• 训练：每个候选层单独训练 TopK SAE，数据是干净 LIBERO rollout 的残差流；每步对 token 均值池化后作为一个样本。扩展比 1×。π0.5 保持 K=12 个激活，SmolVLA 为 K=6，各训练 6,677 步。其余设置跟随 Dr. VLA。
• 选择：在 patch 随机插入的 rollout 上，计算特征激活与二值 patch 指示的 Pearson 相关。10 条开发 rollout（每任务一条，与主评测分开）中，选取相关超过 0.6 的条数最多的层-特征对，并列时取平均相关更高者。干预使用其解码方向。
• 动机：第 2 节先在干净轨迹上训练 SAE，再开关 UADA patch。作者称 Figure 2 中若干特征随时间跟踪 patch 是否出现；图把 F902、F1115、F1728 标为与攻击相关，F1829 标为无关。论文未给出最终干预所用的特征编号。

线性探针

• 原因：作者写持续抑制所选特征会降低干净观测下的表现，因此只在检出攻击时干预。
• 概率：探针读第 k 层的 token 均值池化表示，且 k 不大于干预层，以便先检测再干预。概率为 p_t=σ(w^⊤h̄_t^(k)+b)，σ 为 sigmoid。超过阈值 τ 时门控为 1，否则为 0。
• 实现：π0.5 为 PaliGemma backbone 第 5 层、2048 维上的类平衡逻辑回归，C 候选为 0.01、0.1、1、10、100；第 4.2 节称同一探针使用 LLM backbone 第 5 层。SmolVLA 为 VLM backbone 第 9 层、去掉 padding 后的 prefix 均值上的线性分类器，损失为类平衡二元交叉熵加 L2。两者都在干净开发数据上把 τ 调到 FPR 至多 2%；在此约束下按开发集 10 帧区间的检测率选 SmolVLA 的 C。论文未给出最终 C 与 τ。

条件抑制

• 更新：在干预层对每个 prefix token 按式 (1) 计算 h̃t,r(ℓ⋆)=ht,r(ℓ⋆)−gtλ zt,j⋆(ℓ⋆)dj⋆(ℓ⋆)。g_t 为门控，λ 为强度，z 为所选特征在均值池化表示上的激活，d 为解码方向。
• 强度含义：0 到 1 之间为减弱，等于 1 为去除，大于 1 则沿解码方向的反方向推动表示。门控为 0 时表示不变。
• λ 的选定：在 0.25、0.5、1、2、4 中搜索，更细实验加入 0.1、0.2、0.3，于开发 rollout 上选定后固定。主评测中 π0.5 为 0.3（n=3）与 0.2（n=10），SmolVLA 为 0.2（n=3）与 0.25（n=10）。SmolVLA 在无攻击时用 0.25，持续攻击时用 0.1。

与评测绑定的判定

• 成功：主指标是任务是否成功，不是动作与 ground-truth 的差异；后者是 UADA 的优化目标。
• 对照：不干预、不检测而持续抑制，以及用真实 patch 出现时刻做门控。特征、探针与 λ 在评测前固定。

实验设置

• 模型：π0.5 与 SmolVLA。π0.5 由 π0.5-base 按官方 LoRA 在 LIBERO 训练划分上微调 30,000 步；腕部图像换成黑图，只用 agent 相机。SmolVLA 用已发布检查点，不再微调，使用 agent 与腕部相机。防御实验中权重固定。
• 规模：LIBERO-10。每个主设置为 10 个任务各 50 个初始状态，共 500 次 rollout。
• 攻击：每模型一个 universal UADA patch，在示范轨迹上按原实现优化，目标 DoF 1，加到该模型使用的每个相机。间歇出现 n=3 或 n=10 段，每段连续 10 帧。附录另有未针对模型优化的 gripper patch，以及全程可见的持续攻击。
• 对比：Baseline（受攻击、不干预）、w/o Det.（无检测、持续抑制）、w/ Oracle Det.（仅在 patch 真实出现时抑制）。第 4.1 节写阈值在单独构造数据上设定，使 FPR 低于 2%；附录 B 写在干净开发数据上至多 2%。
• 指标：主指标为 SR。Table 1 为 π0.5 LLM backbone 第 5 层探针：n=3 时 Recall 81.76%、FPR 0.39%、Precision 92.71%；n=10 时 84.91%、0.71%、96.45%。作者称这两组 FPR 低于选阈值时的 2% 目标。论文未报告主评测的重复次数或统计检验。
• λ 扫描：Figure 3 与主评测分开，π0.5 上 5 个种子各 10 个闭环 episode，共 50 次 rollout；攻击用 oracle 检测，无攻击用持续干预。

主结果

据 Table 2，间歇 UADA 下的 SR（%）：

Swipe horizontally to read the table

• 作者称 n 从 3 增到 10 会降低两模型的 Baseline SR，条件干预在四个设置上都提高 SR，其中 π0.5、n=10 的升幅最大。
• 作者称 Ours 与按真实 patch 出现做干预的结果相当。Table 2 中 π0.5 与 SmolVLA 的 n=10 两格 Ours 高于 w/ Oracle Det.，另外两格低于。
• 作者称持续干预可能明显拉低表现，尤其是 π0.5。结论另写 SmolVLA 上的增益 modest。

无攻击条件与干预强度

• 无攻击（Table 3）：π0.5 上 Ours 为 54.6%（标注 ↑0.2，Baseline 54.4%），SmolVLA 从 41.4% 到 36.6%（↓4.8）。w/o Det. 为 35.2%（↓19.2）与 19.0%（↓22.4）。作者认为把抑制限制在检出攻击时，对避免无攻击下降是重要的。
• λ（Figure 3）：作者称攻击下 SR 在 n=3 时于 λ=0.3 附近达到峰值，n=10 时在 λ=0.2 与 0.25 之间，更强干预后下降；无攻击下持续干预随 λ 增大而降低 SR。作者称攻击下的表现与无攻击时的策略表现之间存在权衡。可见坐标轴为 Intervention Strength 与 SR（%），刻度含 0.1、0.2、0.3、0.5、1、2、4；图例为 n=3（oracle det.）、n=10（oracle det.）、Benign（continuous）。文本转换后读不到曲线端点数值。

其他 patch、特异性与持续攻击

• gripper patch（Table 4，仅 π0.5，探针在该 patch 的 rollout 上训练）：Baseline 为 n=3 时 30.4%、n=10 时 4.4%。作者称这低于同模型 UADA 的 46.8% 与 26.0%。Ours 为 46.4% 与 33.6%，oracle 为 50.0% 与 31.8%。w/o Det. 在两个 n 下都是 0.0%。作者称控制干预时机在该 patch 类型下仍然重要。
• 探针特异性（Table 5）：作者写 UADA 探针在 white、black 上的 recall 为 5.74% 与 2.17%，在 random-noise 上为 100%（表中 100.00%）。与这些 recall 同一行的 FPR 为 1.47%，Precision 为 79.59%、59.56%、98.55%。Gripper 探针在 white、black、noise 上的 recall 为 23.11%、16.32%、19.71%，FPR 为 9.45%，同行 Precision 为 70.97%、63.33%、67.59%。作者认为检测特异性取决于训练探针所用的 patch。
• 持续攻击（Table 6）：patch 全程可见，oracle 等价于持续干预。没有任何干预方法提高 SR。π0.5 上 Baseline 12.4%，Ours 9.0%（↓3.4），w/o Det. 与 oracle 均为 7.4%（↓5.0）。SmolVLA 上 Baseline 1.8%，三种干预均为 1.6%（↓0.2）。作者称即便有 oracle，抑制所选特征也不能恢复 SR。

特征选择对照

• 随机特征（Figure 5，π0.5，n=10）：从比检测层更深的层随机采样 SAE 特征，检测与干预设置不变。作者称所选特征的平均 Pearson 相关最高，抑制后 SR 也最高；部分随机特征的 SR 高于 Baseline，但幅度更小，另一些低于 Baseline。纵轴为 SR（%），可见刻度 20 到 34；横轴为 Mean Pearson correlation。文本转换后读不到各点坐标。
• 论文未在该图给出随机特征的个数。

其他消融与分析

• SAE：π0.5 的 K=12，SmolVLA 的 K=6；各层 6,677 步，扩展比 1×（附录 B）。
• 特征选择：10 条开发 rollout，Pearson 相关超过 0.6 的条数最多（附录 B）。
• 探针数据：100 对 rollout，任务内 60/20/20；干净开发集 FPR 至多 2%（附录 B）。
• 主评测 λ：π0.5 为 0.3（n=3）、0.2（n=10）；SmolVLA 为 0.2（n=3）、0.25（n=10）（附录 B）。
• SmolVLA 其他 λ：无攻击 0.25，持续攻击 0.1（附录 B）。
• λ 搜索集为 0.25、0.5、1、2、4，更细实验另加 0.1、0.2、0.3（附录 B）。

作者指出的局限与后续方向

• 持续攻击（附录 C.4）：作者写，即便有 oracle 检测，抑制所选特征也不能恢复 SR，并称这是本方法的局限。
• 后续工作（结论）：作者写未来应评估对未见攻击的鲁棒性，并在实体机器人上测试该防御。
• SmolVLA（结论）：作者写该模型上增益 modest，且无攻击时性能仍下降。这句在结论中作为结果对照写出，未单独标成 limitation。

实验覆盖范围

• 被测模型为 π0.5 与 SmolVLA。π0.5 只用 agent 相机，SmolVLA 用 agent 与腕部相机（第 4.1 节、附录 B）。
• 主评测在 LIBERO-10，每设置 10 个任务各 50 个初始状态，共 500 次 rollout。攻击为针对 DoF 1 的 UADA，每模型一个 universal patch；间歇为 n=3 或 n=10 段、每段 10 帧（第 4.1 节、附录 B）。
• 对比为 Baseline、w/o Det.、w/ Oracle Det.。相关工作写了 JPEG compression、Gaussian blur 与视觉编码器对抗微调，实验节未报告与这些防御的对比数字。
• 附录 C 另报告 π0.5 的 gripper patch（Table 4）、white、black、noise 上的探针特异性（Table 5）、两模型的持续攻击（Table 6），以及 π0.5、n=10 上随机 SAE 特征与所选特征的对照（Figure 5）。
• Table 1 的检测数字对应 π0.5 LLM backbone 第 5 层；SmolVLA 探针在 VLM backbone 第 9 层（附录 B）。论文未报告主评测重复次数、统计检验、其他层探针的检测数字，也未报告 Table 4 与 Table 6 的 rollout 次数。Figure 3 为 5 个种子各 10 个 episode。

• 定位：推理时防御，不改 VLA 参数；线性探针检出对抗 patch 后，才抑制 SAE 里与 patch 出现相关的特征。
• 问题：patch 改视觉观测后任务失败。已有防御改输入或微调；无差别抑制内部特征又可能破坏正常策略。
• 方法：干净轨迹上训练 TopK SAE，按与 patch 出现的 Pearson 相关选层-特征对；更浅层探针做门控。按 λ 从各 prefix token 减去该特征的解码方向贡献。模型为 LIBERO-10 上的 π0.5 与 SmolVLA，主攻击为间歇 UADA（DoF 1）。
• 结果：间歇 UADA 下 π0.5 的 SR，n=10 从 26.0% 到 32.4%，n=3 从 46.8% 到 49.2%；SmolVLA 从 18.6% 到 19.6%、从 6.2% 到 7.6%（Table 2）。w/o Det. 在 π0.5、n=3 为 9.4%。无攻击时 π0.5 为 54.6%（Baseline 54.4%），SmolVLA 从 41.4% 到 36.6%（Table 3）。持续攻击下 π0.5 从 12.4% 到 9.0%，SmolVLA 从 1.8% 到 1.6%（Table 6）。gripper patch 上 π0.5、n=3 从 30.4% 到 46.4%（Table 4）。
• 结论：作者认为这类内部表示可作为防御作用点，但何时抑制、抑制多强会影响正常行为。结论写 SmolVLA 上增益 modest，无攻击性能仍下降。作者计划评估未见攻击，并在实体机器人上测试。