研究者提出利用祖先 VLM 的黑盒对抗补丁攻击，可降低 VLA 任务成功率

只利用公开祖先 VLM，能否用对抗补丁让由其微调、攻击者接触不到的已部署 VLA 任务失败。

• 场景：VLA 根据场景图像和自然语言指令决定机器人下一步动作，并被部署到工业、科研、家庭和无人机等物理环境。作者认为，能影响机器人所见的对抗攻击可使任务失败并带来实际后果，因此规模化部署前需要理解其对抗鲁棒性。
• 现有不足：白盒补丁攻击假设能访问目标 VLA 的参数和动作空间；基于迁移的攻击需要替代 VLA。作者认为二者都超出真实部署所允许的访问，不访问 VLA 参数或梯度的攻击仍未被研究。
• 假设：多数 VLA 从公开预训练 VLM 微调而来，继承与指令无关的视觉感知，以及按指令识别物体、属性和空间关系的定位能力。机器人微调数据远小于、窄于 VLM 预训练语料，共享表征大体保留。作者据此假设，扰乱祖先上这两种能力的补丁，也会扰乱派生 VLA 的动作决策。
• 做法：作者提出 ancestor-only 设定下的三种补丁目标，分别扰乱视觉感知、抑制指令相关语义证据，并用两阶段课程联合二者，再刻画脆弱性继承何时成立、何时消退。
• 威胁模型（第 3 节，Figure 1）：
  • 目标：在相机视野的随机位置放置对抗补丁，使已部署 VLA 完不成任务。
  • 知识：可访问公开祖先 VLM，以及代表其任务的公开图像–指令数据；无 VLA 参数、动作空间或任何替代 VLA。作者称这是 practical black-box 设定。
  • 能力：优化通用补丁，经随机仿射变换合成到观测上。理想目标要查询 VLA，威胁模型不允许，故改为在祖先 VLM 上优化替代损失。
  • 受害系统：由公开 VLM 微调的 VLA。实验中的受害模型为 OpenVLA、UniVLA（祖先 Prismatic-7B）和 π0.5（祖先 PaliGemma-3B）。

相关工作按对目标的访问程度，把既有 VLA 对抗攻击分为白盒和基于迁移的黑盒。作者称二者都需要受害侧或替代 VLA 访问。

白盒攻击

• Wang et al. [25]：系统研究 VLA 的对抗鲁棒性，提出三种补丁目标：UADA 最大化预测动作偏差，UPA 扰乱末端执行器运动方向，TMA 迫使 VLA 预测指定轨迹。
• ADVLA、FreezeVLA、TRAP：ADVLA [31] 用注意力引导的稀疏图像扰动破坏任务执行；FreezeVLA [26] 用双层优化诱导动作冻结；TRAP [9] 优化补丁劫持中间推理，把基于思维链的 VLA 导向攻击者选定的动作。
• 文本与多模态：Jones et al. [11] 把 LLM 越狱改到 VLA，在指令后附加短的优化文本后缀；Yan et al. [30] 的 VLA-Fool 组合文本、视觉与跨模态扰动。论文指出上述白盒方法需要访问受害 VLA 的参数和动作空间，不能用于封闭系统。

基于迁移的黑盒攻击

• EDPA [29]：在编码器层破坏图文嵌入对齐，并最大化视觉特征分歧。
• UPA-RFAS [17]：在替代 VLA 上联合优化视觉–文本错位、主导注意力和扰动预测动作，以加强补丁的跨模型迁移。
• VLA-Hijack [8]：利用 VLA 机器人必须先用视觉定位自身机械臂再规划运动这一共享过程，做跨 VLA 迁移。

基线与基准

• 基线方法：作者称该威胁模型没有直接可比的先前方法。实验使用 Random（同尺寸、同位置的 [0,1] 随机噪声）、Blank（均匀中灰补丁，用于分离遮挡）、损失改在祖先上计算的 EDPA，以及改到祖先、保留特征空间排斥 InfoNCE 与 ℓ1 偏差的 UPA-RFAS。Table 3 另报告在 OpenVLA 上优化的白盒 UADA。
• 基准/数据集：LIBERO 的 Spatial、Object、Goal、Long 四套件，以及 BridgeData V2。

作者称既有方法都需要某种受害侧或替代 VLA 访问，本文只利用祖先 VLM。贡献陈述中，作者称这是对脆弱性是否以及何时被继承的首次系统研究，也是只利用祖先 VLM 的首个攻击框架。

攻击不查询 VLA，而在其公开祖先 VLM 上优化一个通用补丁。三个目标分别对应作者所说的两项继承能力：视觉扰乱（LVIS）、指令定位的语义证据抑制（LIGS），以及二者的 联合课程（Ljoint）。

问题设定

VLA 把图像 x 和指令 t 映射为动作。补丁经掩码 M 和随机仿射变换 T 合成到观测上， x_{\mathrm{adv}}=(1-M)\odot x+M\odot T(\delta) T 表示视角、距离、位置和表面变化带来的几何畸变。理想攻击最大化干净动作与补丁动作之间的任务失败损失，但需要查询 VLA。作者改为在祖先上优化替代损失。其依据是：VLA 与祖先共享架构和初始化，机器人微调数据更小、更窄，共享视觉–语义表征在微调后大体保留。

视觉扰乱

• 作用位置：LVIS 扰乱投影器之后、语言解码器消费的视觉 token，而不是原始编码器特征。附录 B.1 的理由是：这些 token 是解码器实际使用、并被 OpenVLA 继承的接口；投影前分别攻击两个塔，可能把预算花在投影器会去掉的方向上。
• 相对项与绝对项：对同位置的干净 token 与对抗 token 做 ℓ2 归一化。相对项用交叉相似度上的 softmax，把对抗 token 相对其他位置推离自身干净位置，打乱位置到内容的映射；绝对项继续降低同位置方向相似度，补上相对项对均匀平移不敏感的缺口。
• 网格范围：两项都在整个 token 网格上计算，不只在补丁覆盖的格子上。作者称补丁只占图像一小块，网格级目标迫使扰动经自注意力传到未覆盖位置。

语义证据抑制

• 探针：每个图像–指令对离线得到物体、属性、关系三类侧标签，组成探针集。标签或直接解析指令，或由冻结祖先生成后再分解。指令只通过探针集进入目标，用来选择要擦除的概念。附录 B.2 给出筛选流程；CLIP 与 SigLIP 只作离线标注，攻击本身不查询它们。
• logit lens：复用祖先的 unembedding 矩阵，把中间层视觉 token 隐状态经最终 RMSNorm 后与探针子词向量做内积，再对子词和探针平均。作者称高分表示该隐状态在模型自身表示空间中指向该概念。
• 加权与两项约束：用干净图像证据的 softmax 权重聚合，避免把预算花在背景 token。相对项把对抗证据压到干净值以下并留边际；绝对项压到目标 Stgt 以下。Stgt 取干净证据的 ρ 分位，默认 ρ=10。两项用 softplus，使过界后梯度仍不为零。主文在零索引 Llama 解码器第 12 层读取图像 token。

两阶段联合

• 为何不直接相加：作者称 LVIS 留下指令通道，模型仍可能用指令作语义先验部分恢复场景；LIGS 则从中间层视觉 token 读指令相关概念。作者观察到，扰乱投影器级 token 的像素方向与抑制中间层语义的方向大体独立。
• 课程：第 1 阶段只优化 LVIS。第 2 阶段仅当干净与对抗视觉 token 的全局余弦之指数滑动平均 ct 降到阈值 γ 以下，才加入 LIGS。联合目标为

L_joint=L_VIS+β_kλ_semL_IGS βk 为“已过 K1”且“ct≤γ”两个指示的乘积。附录 B.3 设 λsem=0.5、K1=300、γ=0.45。

优化与判定

• 补丁与优化器：在 224×224 画布上优化方块 RGB 补丁，面积占比 0.05，边长 50，硬覆盖合成。Adam 的 β=(0.9, 0.999)，学习率 10^{-3}，外层 3500 步；每步对 B=4 做 4 次更新，每次对 8 次 EoT 梯度取平均。EoT 含随机旋转、剪切，以及亮度、对比度和高斯噪声。主文另设 λvis-abs=2.0、λsem-abs=1.0。
• 双视角：π0.5 同时看 agentview 与 eye-in-hand。主补丁与腕部补丁分开训练，评测时位置独立随机。成功由环境任务是否完成判定，指标为任务成功率，越低表示攻击越强。

实验设置

• 受害模型：OpenVLA 与 UniVLA 由 Prismatic-7B 适配，π0.5 由 PaliGemma-3B 适配。三者都有 LIBERO 微调版本。OpenVLA 按套件分别微调；UniVLA 与 π0.5 是跨全部套件的单一模型。
• 数据：LIBERO 四套件各 10 个任务、每任务 50 次 rollout；附录写明每套件 500 回合。BridgeData V2 有 60,096 条轨迹，用于优化，以覆盖攻击者不知道目标域的情形。附录另从训练集抽 6,000 帧，再抽 500 帧做等规模消融。Table 1–3 的任务成功率都在 LIBERO 上。作者在摘要称实验覆盖仿真和静态真实世界图像。
• 补丁来源：主结果在 Prismatic-7B 上分别用 LIBERO 与 BridgeData V2 优化。跨架构实验还用 LLaVA-1.5-7B 与 PaliGemma-3B。π0.5 的补丁在 PaliGemma-3B 上优化。
• 基线：Random、Blank，以及改到祖先上的 EDPA、UPA-RFAS。Table 3 另含在 OpenVLA 上优化后再迁到 π0.5 的 UADA。作者称 UADA 是白盒、基于动作的攻击。
• 指标与重复：任务成功率，越低攻击越强。5 个随机种子各优化一个补丁，报告均值。成功由环境任务完成与否判定。论文未报告统计显著性检验，也未使用 LLM 评审。
• 放置：补丁占输入 5%，优化与测试时位置均匀随机。附录写明位置按回合重抽、回合内固定；套件步数上限为 220 / 280 / 300 / 520（Spatial / Object / Goal / Long）。

主结果

下表为平均任务成功率（%），越低表示攻击越强。OpenVLA、UniVLA 的补丁在 Prismatic-7B 上优化；π0.5 的补丁在 PaliGemma-3B 上优化。无攻击与 Random 不依赖补丁数据源。EDPA 在 Table 3 未出现。

表格较宽，可左右滑动

模型与优化数据	无攻击	Random	EDPA	UPA-RFAS	Ours-Joint
OpenVLA，LIBERO	68.75	48.98	46.20	41.50	33.20
UniVLA，LIBERO	93.08	67.55	59.10	55.85	45.95
OpenVLA，BridgeData V2	68.75	48.98	44.50	43.30	32.90
UniVLA，BridgeData V2	93.08	67.55	60.00	56.65	46.85
π0.5，LIBERO	96.6	94.6	未报告	92.85	93.6
π0.5，BridgeData V2	96.6	94.6	未报告	94.1	93.2

• 继承与基线：作者称三种攻击在 OpenVLA 与 UniVLA 上都低于随机补丁、空白补丁，以及改到祖先的 EDPA 与 UPA-RFAS；因补丁只在祖先上优化，作者称这是脆弱性被继承的证据。作者认为该设定下 EDPA 退化为投影前的对比项，UPA-RFAS 则失去其 VLA 专用损失。
• 单项与联合：LIBERO 优化时，Ours-VIS 平均成功率为 OpenVLA 35.50%、UniVLA 48.05%，Ours-IGS 为 41.40% 与 56.50%（Table 1）。作者称多数情况下 IGS 单独更弱，因为到补丁的梯度路径长且噪声大；并称 LIBERO 优化时 Joint 在两个模型的每个套件上都低于另外两个目标。BridgeData V2 优化时，OpenVLA 的 Goal 套件上 Ours-VIS 与 Ours-Joint 同为 44.6%。
• 任务差异：相对随机补丁，OpenVLA 上 Ours-Joint 在 Spatial 为 39.0% 对 66.2%（作者称 27.2 个百分点），在 Long 为 13.2% 对 21.5%（作者称 8.3 个百分点）。作者认为 Spatial 依赖精确的指令定位，长时程失败还有单帧感知以外的原因。

跨域与跨架构

• 跨域：同一 LIBERO 回合上，两种优化数据的攻击接近。作者按 BridgeData−LIBERO 计算，Ours-VIS 为 −0.25 / +3.65，Ours-Joint 为 −0.3 / +0.9（OpenVLA / UniVLA）。作者认为攻击者不必知道目标任务域。
• IGS 例外：Ours-IGS 在完整 BridgeData V2 上更强，Table 1 为 OpenVLA 36.92%、UniVLA 51.10%。等规模子集上为 39.2% 与 53.4%，正文写这低于在 LIBERO 上优化时的 41.4% 与 56.5%（Table 1 为 41.40% 与 56.50%）。作者认为单一 LIBERO 套件的物体和关系少，Bridge 帧覆盖更多场景，学到的抑制规则能带到未优化过的套件。
• 跨架构（Table 2，受害模型为 OpenVLA，优化数据为 LIBERO）：Prismatic-7B 上 Ours-VIS / IGS / Joint 平均为 35.5%、41.4%、33.2%；LLaVA-1.5-7B 为 44.58%、44.9%、43.78%；PaliGemma-3B 为 49.03%、49.8%、48.73%，接近 Random 的 48.98。作者认为可迁移性随与目标血统的架构距离下降。二者都与 OpenVLA 共享 Llama-2 语言骨干，但只有 Prismatic-7B 共享视觉编码器，且迁移更强；作者据此称只共享 LLM 骨干不足以产生强迁移。

失效边界与机理

• π0.5（Table 3）：作者称本文攻击和改写后的迁移基线都落到接近随机的成功率。在 OpenVLA 上优化的白盒 UADA 迁到 π0.5 后，LIBERO 为 87.7%，BridgeData V2 为 82.9%。作者把原因归于两点：π0.5 训练更新了 PaliGemma 3B 参数中的很大一部分，表示离开原 VLM；flow-matching 动作专家多步去噪，在扰动到达动作前将其平滑。
• 机理（Figure 4）：对象是 OpenVLA–LIBERO-Spatial，补丁在 Prismatic-7B 上以 Ljoint 优化。动作相似度 sact=e^{−d} 上，Ours-joint 为 0.48，随机补丁为 0.52。作者称所测各阶段的干净–补丁相似度都低于随机补丁；余弦相似度从投影器输出升到第一层 LLM，再在更深层下降。作者认为早期部分恢复是 LVIS 单独不够的原因。
• 图中可见文字：Figure 4 图例为 Ours-joint 与 Random，纵轴为 Average Similarity，横轴文字含 Vision Encoder、Projector、LLM Layer 与 Action Head。除正文写出的 0.48 与 0.52 外，图中还有 0.87、0.84、0.81、0.77、0.74、0.70、0.64、0.63、0.62、0.54、0.49 等标注；纯文本无法可靠对应到阶段，不按柱赋值。

其他消融与分析

• 附录 B.3、Figure 6（OpenVLA–LIBERO-Spatial，500 回合）：完整两阶段为 39.0%；去掉盆地门控为 42.8%；从第 0 步启用语义项为 47.0%。作者称去掉任一约束都会削弱攻击。
• Figure 2 与 Figure 3（同一套件）：作者称 LVIS、LIGS 的单项已降低成功率，组合更强。图中可见 42.0、44.0、47.4、48.0、49.4，纯文本对不上 Full / Only Rel / Only Abs，不逐柱引用。
• Figure 7：作者称语义项激活后，分阶段方案的网格级余弦略低；未加门控时语义证据下降更大，但没有变成更强的下游攻击。
• 负面例外：Table 2 中 PaliGemma-3B 优化的 Ours-Joint，Long 套件为 22，高于 Random 的 21.5；其平均 48.73 与 Random 的 48.98 接近。
• 主文默认 λsem=0.5、λvis-abs=2.0、λsem-abs=1.0、ρ=10；附录 K1=300、γ=0.45。论文未报告对这些系数的扫描结果。
• 引言称两个 VLM 家族上的结果一致支持假设；摘要与第 5.5 节则写明效应不均匀，在 π0.5 上接近随机补丁。

作者指出的局限与后续方向

• 一类架构：第 6 节写道，攻击对会平滑上游扰动的 π0.5 一类架构较弱。
• 祖先是否正确：第 6 节写道，攻击依赖使用正确的祖先，强度随架构距离下降。
• 评测载体：第 6 节写道，评测在仿真和静态真实世界图像上，不是物理机器人。
• 祖先身份可隐藏：第 6 节写道，威胁模型假设攻击者知道祖先 VLM；若该信息被隐藏，攻击面会缩小。
• 防御含义未测：第 6 节提出按祖先而不是只按单个策略组织防御，每个祖先维护补丁库并用于对抗训练；因攻击者不接触受害模型，查询监测看不见该攻击，作者建议从输入侧做 token 级漂移监测，并用独立检测器核对物体、属性与关系证据。作者写明自己没有评测这些防御。

实验覆盖范围

• 受害 VLA 为 OpenVLA、UniVLA、π0.5，共 3 个；用于优化补丁的 VLM 为 Prismatic-7B、LLaVA-1.5-7B、PaliGemma-3B（第 5.1、5.4、5.5 节）。
• 任务成功率来自 LIBERO 四套件，每套件 500 回合；优化数据另含 BridgeData V2，以及 6,000 帧和 500 帧子集（第 5.1 节、附录 A）。
• 对照包括 Random、Blank、改到祖先的 EDPA 与 UPA-RFAS；π0.5 上另报告从 OpenVLA 迁入的 UADA（Table 1、Table 3）。
• 每个攻击用 5 个随机种子的补丁取均值；补丁面积占比 0.05，位置随机，并使用 EoT（第 5.1 节、附录 A）。
• 论文未报告统计显著性检验、攻击耗时，以及任何已实现防御的拦截数字；成功由环境任务判定，论文未报告 LLM 评审或人工一致性。

作者把公开祖先 VLM 当作攻击已部署 VLA 的共享入口：攻击者不接触 VLA 参数、动作空间或替代 VLA，只在祖先上优化约占图像 5% 的通用补丁，再随机贴到相机视野。

• 问题：VLA 选动作同时依赖视觉感知和按指令定位物体、属性与空间关系。作者假设机器人微调数据更小、更窄，这两项能力会留在共享表征里，因此针对祖先的补丁会改变派生策略的动作。
• 方法：LVIS 在投影后的视觉 token 上同时打乱位置对应关系并降低同位置相似度；LIGS 用祖先的 unembedding 作 logit lens，抑制中间层里与探针概念对应的证据；Ljoint 先只优化视觉项，待全局余弦降到门控以下再加入语义项。
• 主结果：LIBERO 上，补丁在 Prismatic-7B 用 LIBERO 数据优化时，Ours-Joint 的平均任务成功率为 OpenVLA 33.20%、UniVLA 45.95%，低于无攻击的 68.75% 与 93.08%，也低于 Random 及改写后的 EDPA、UPA-RFAS（Table 1）。换 BridgeData V2 优化后，二者的 Joint 平均为 32.90% 与 46.85%。作者称相对随机补丁的优势在 Spatial 上更大，在 Long 上更小。
• 边界：同一 OpenVLA 上，Joint 平均成功率在直接祖先上为 33.2%，在 LLaVA-1.5-7B 上为 43.78%，在 PaliGemma-3B 上为 48.73%（Table 2）。π0.5 上，PaliGemma-3B 优化的 Joint 为 93.6%（LIBERO）与 93.2%（BridgeData V2），接近 Random 的 94.6%（Table 3）。作者认为大规模改写共享表征，以及 flow-matching 的迭代去噪，会使继承效应消退。
• 作者结论：微调公开 VLM 会成为多个派生 VLA 的供应链攻击面，但是否成立取决于表示是否仍接近祖先、动作头是否直接读取该表示。作者同时写明，该攻击对 π0.5 一类架构较弱，依赖正确祖先，评测未到物理机器人，且所提防御没有被作者评测。