跳到正文
原文

当后门可以被关闭时:视觉-语言-动作模型上的抑制感知后门攻击

When Backdoors Can Be Switched Off: Suppression-Aware Backdoor Attacks on Vision-Language-Action Models

arXiv:其他 AI 安全论文· arXiv:2611.19774· Nur Afsa Syeda, Mohamed ElmahallawySchool of Engineering and Applied Sciences, Washington State University本站收录· 2 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出三种可抑制的 VLA 后门攻击,在 SmolVLA/SO-100 上 ASR 63–71%、CA 100%,IF 检测率从 96–98% 降至 1–18%。

威胁模型训练时数据投毒攻击者:在策略微调前修改 20% 的示范数据,不修改模型架构或推理过程;触发器为初始位姿状态触发器 s0+δs、分裂图像触发器及指令后缀 [DISRUPT]/[RESTORE];论文称攻击为 black-box。

问题
现有 VLA 后门攻击多为单模态、无条件触发,触发后持续产生恶意行为,容易被检测;作者研究能否要求多模态联合触发,并在物理触发器仍存在时按指令抑制恶意行为。
方法
提出 suppression-aware 后门家族:共享初始位姿状态触发器,经 PGA 优化后投毒 20% 示范数据微调 SmolVLA;三个变体分别实现状态+图像联合触发、[DISRUPT] 激活/[RESTORE] 抑制、以及三者联合触发且可抑制。
实验与结果
在 SmolVLA/SO-100 上,Attack-B/C 的 Primary ASR 为 63–71%、CA 100%、抑制下 Secondary ASR 为 0%,IF 检测率从 96–98% 降至 1–18%;在 OpenVLA/LIBERO 上机制可迁移但 ASR 降至 24.2–54.8%。
局限与可以继续做的
作者指出:评估只覆盖代表性架构与基准;规避是特定的(ADS 在 SO-100 上能检出);主指标是首步代理;物理机器人实验仅为脚本化演示,定量验证留作未来工作;[DISRUPT]/[RESTORE] 是硬编码密钥而非自然短语。
实验设置SmolVLA、OpenVLA · Cube Sorting (SO-100, LeRobot)、Pick and Place (SO-100, LeRobot) 等 · ASR (Primary/Secondary)、CA 等
被测模型
SmolVLAOpenVLA
基准
Cube Sorting (SO-100, LeRobot)Pick and Place (SO-100, LeRobot)LIBERO (spatial/object/goal/long)
指标
ASR (Primary/Secondary)CACTC[RESTORE]-Normal-SRIF detection rateL2 divergenceSTRIPRepetitionADS
AI 导读研究者提出针对视觉-语言-动作(VLA)模型的抑制感知(suppression-aware)后门攻击,将合取式触发激活与指令条件抑制结合,使恶意行为可在特定条件下被关闭。攻击包含跨模态触发、自抑制触发和多触发三个变体,其中自抑制触发需状态触发与 [DISRUPT] 指令 token 共同激活、由 [RESTORE] token 抑制攻击,多触发在物理触发持续存在时仍保持抑制。在两个 SO-100 操作数据集上用 SmolVLA 对比 State Backdoor、BadVLA、TabVLA、SilentDrift 四个基线,Self-Suppressing 与 Multi-Trigger 将 Isolation Forest 检测率从 96%-98% 降至 1%-18%,动作空间 l 散度降低 10-14 倍,攻击成功率 63%-71% 且保持完美的干净任务性能。

研究者提出针对视觉-语言-动作(VLA)模型的抑制感知(suppression-aware)后门攻击,将合取式触发激活与指令条件抑制结合,使恶意行为可在特定条件下被关闭。攻击包含跨模态触发、自抑制触发和多触发三个变体,其中自抑制触发需状态触发与 [DISRUPT] 指令 token 共同激活、由 [RESTORE] token 抑制攻击,多触发在物理触发持续存在时仍保持抑制。在两个 SO-100 操作数据集上用 SmolVLA 对比 State Backdoor、BadVLA、TabVLA、SilentDrift 四个基线,Self-Suppressing 与 Multi-Trigger 将 Isolation Forest 检测率从 96%-98% 降至 1%-18%,动作空间 l 散度降低 10-14 倍,攻击成功率 63%-71% 且保持完美的干净任务性能。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究 VLA 后门能否多模态联合触发、并在物理触发器仍存在时按指令抑制恶意行为。

    核心问题:VLA 后门能否要求多种模态联合激活,并在指定条件下(即使物理触发器仍存在)抑制恶意行为?

    • 场景与重要性:VLA 模型把视觉、语言指令和本体状态映射为机器人动作,投毒示范数据可植入后门,触发后操纵整段动作轨迹,可能造成不安全交互或设备损坏(作者援引 Cui et al., 2024)。
    • 现有方法不足:作者称已有 VLA 后门(如 State Backdoor)多为单模态、无条件触发,触发器存在时持续产生恶意行为,容易暴露给检测机制。
    • 核心观察:把触发器拆成多个模态的合取条件,并用语言指令作为显式的激活/抑制开关,可以让后门在物理触发器持续存在时仍被 [RESTORE] 关闭。
    • 论文提出:suppression-aware 后门家族,含三个变体——Cross-Modal Trigger(状态+分裂图像联合触发)、Self-Suppressing Trigger(状态触发+[DISRUPT] 激活、[RESTORE] 抑制)、Multi-Trigger(三者联合触发且可抑制),并在 SmolVLA/SO-100 与 OpenVLA/LIBERO 上评测。
    • 威胁模型:
      • 目标:触发条件全部满足时诱导预定义恶意行为;干净输入上保持正常行为;部分触发或 [RESTORE] 条件下不激活。
      • 知识:论文在 Table 1 中将三种攻击标为 Black-box。
      • 能力:训练时数据投毒,微调前修改 20% 示范数据,不改模型架构或推理过程。
      • 受害系统:SmolVLA(450M)驱动的 SO-100 机械臂,以及 OpenVLA(7B)/LIBERO。
  2. 有哪些相关研究?

    相关工作分经典与多模态后门、机器人对抗攻击、VLA 后门与防御三组;作者称本文是首个结合多模态激活与语言条件抑制的 VLA 后门。

    经典与多模态后门

    • Gu et al. (2017) 形式化神经网络后门(BadNets);Chen et al. (2017) 提出半透明触发器的混合注入攻击。
    • 多模态后门探索跨模态联合触发,如图像-文本触发器(Liang et al., 2024; Walmer et al., 2022)、多触发器共存干扰(Li et al.)、以图文语义不匹配为触发器(Zhong et al., 2025)。

    机器人对抗攻击

    • 测试时对抗策略(Gleave et al., 2019)与物理视觉扰动(Eykholt et al., 2018)。

    VLA 后门与防御

    • State Backdoor(Guo et al., 2026)用本体状态扰动触发;BadVLA(Zhou et al., 2026)用可见物体触发器加解耦优化;GoBA(Zhou et al., 2025)用物理物体触发目标导向动作;TabVLA(Xu et al., 2025)用视觉触发器;SilentDrift(Xu et al., 2026)用轨迹扰动引发运动学漂移;BadCM(Zhang et al., 2024)用双键不可见触发器;AttackVLA(Li et al., 2025)用双模态触发器植入长时程目标动作。作者称这些方法多为单模态或无条件触发。
    • 防御方面,Li et al. (2026) 通过注意力或嵌入分析定位并净化视觉触发器特征;作者称 Attack B 不含视觉扰动,因此在这类视觉特征防御的适用范围之外。

    基线与基准:对比基线为 State Backdoor、BadVLA、TabVLA、SilentDrift(在 SmolVLA/SO-100 上复现);评测用 SO-100 的 Cube Sorting、Pick and Place 数据集和 LIBERO 四个套件;检测防御用 STRIP、重复探测(Repetition)和动作分布偏移(ADS)。

    定位:作者称本文是首个把多模态合取激活与语言条件抑制结合的 VLA 后门方法("To our knowledge, this is the first..."),将多模态后门从静态分类扩展到连续、时序扩展的 VLA 控制。

  3. 论文如何解决这个问题?

    共享 PGA 优化的初始位姿状态触发器,再按三个变体构造投毒数据并行为克隆微调 SmolVLA。

    整体思路:一个共享的触发器构造阶段(PGA 优化攻击染色体)+ 各攻击特定的投毒与微调,框架含三个变体 Attack A/B/C。

    问题设定与共享触发器

    • VLA 策略 π(st, It, ℓ) → at:t+H,H=50;通过行为克隆在专家示范上训练。
    • 初始位姿状态触发器:缓存中毒回合的初始关节状态 s0,构造 strig = s0 + δs,δs 用 PGA 优化;该触发器在中毒回合的每个时间步替代真实状态输入。
    • 攻击目标三元组:攻击有效性、干净任务保真、选择性激活与抑制。

    Attack A:Cross-Modal Trigger

    • 需同时存在状态触发器与分裂图像触发器 δa+δb:两个独立的 8×8 棋盘噪声(种子 seeda、seedb),各限幅 ε/2=16/255,合计 ε=32/255;部分视图只含 δa,半幅不足以激活。
    • PGA 染色体 c = [δs; seeda; seedb],目标 f1(c) = Lboth→a∗ − 1/2(Lstate→ac + Lvis→ac):联合触发推向失败动作,单模态条件保持原动作。
    • 投毒:20% 回合为中毒回合,帧按 0.58/0.21/0.21 分到联合触发(换失败动作标签)、仅状态、仅视觉(均保留原标签)三种模式,后两种提供负面对比监督。

    Attack B:Self-Suppressing Trigger

    • 只用状态触发器,无图像扰动;指令末尾加 [DISRUPT] 激活、加 [RESTORE] 保持正常,两种条件用同一物理触发器,隔离语言作为决定因素。
    • 投毒:20% 中毒回合均分 [DISRUPT]/[RESTORE](各 10%);[DISRUPT] 帧加状态触发器与失败动作标签,[RESTORE] 帧加同样状态触发器但保留原标签,促使策略把语言 token 当作激活条件。

    Attack C:Multi-Trigger

    • 结合 A 的合取激活与 B 的语言抑制:状态+完整分裂图像+[DISRUPT] 三者齐备才激活;同样物理触发器配 [RESTORE] 则正常。染色体与 A 相同。
    • 投毒:20% 中毒回合均分两类;[DISRUPT] 回合 75% 帧用三重触发+失败标签,25% 均分到六种部分模式(state-only、vision-only、text-only、state+vision、state+text、vision+text,保留原标签);[RESTORE] 回合全部帧加物理触发器与 [RESTORE] 后缀、保留原标签。

    成功判定与评测方式

    • 帧级指标在 100 个随机held-out评估帧上计算:预测首步动作与失败目标的归一化 ℓ2 距离低于 1.5σ 记为 fail match(Primary/Secondary ASR);[RESTORE]-Normal-SR 衡量抑制下预测与干净预测的接近程度;CA 为干净帧不匹配失败目标的比例;CTC 为干净回合完成率。
    • 轨迹级指标:step-coverage、chunk-match ASR、DTW ASR(H=50 动作块)。
    • 检测抗性:STRIP(方差比 <0.5 判检出)、重复探测(第二次探测 ASR >30% 判检出)、ADS(平均 KL >1.0 nat 判检出)、Isolation Forest(contamination=0.1)。
  4. 论文做了哪些实验?

    在 SmolVLA/SO-100 上 Attack-B/C 的 ASR 63–71%、CA 100%、IF 检测 1–18%;OpenVLA/LIBERO 上机制迁移但 ASR 更低。

    实验设置

    • 被测策略:SmolVLA(450M,SmolVLM2-500M 骨干 + flow-matching 动作头,全量微调);迁移实验用 OpenVLA(7B,LoRA r=32, α=16, all-linear)。
    • 数据集:SO-100 的 Cube Sorting 与 Pick and Place(LeRobot,固定单任务指令);LIBERO 四个套件(spatial/object/goal/long,每套件 10 任务 × 50 示范 = 500,每套件采样 100 帧评估)。
    • 投毒率:本文攻击与 State Backdoor、BadVLA 用 20%;TabVLA、SilentDrift 按其论文用 2%(作者称解释结果时已区分植入失败与植入后表现)。
    • 基线:State Backdoor、BadVLA、TabVLA、SilentDrift,均从 SmolVLA 基础检查点复现。
    • 指标与判定:100 个随机 held-out 帧;fail match 阈值为归一化 ℓ2 < 1.5σ;STRIP 方差比 <0.5、重复探测二次 ASR >30%、ADS 平均 KL >1.0 判检出;IF 用 n_estimators=100、contamination=0.1。
    • 物理平台:DOFBOT Pro 6-DOF 机械臂(仅脚本化定性演示,非训练的中毒策略)。

    主结果

    据 Table 2(SO-100,ASR 列为 Primary/Secondary,%):

    表格较宽,可左右滑动

    方法Sorting ASRPickPlace ASR[RESTORE] Norm-SRCA
    State Backdoor86/–74/––99
    BadVLA38/–82/––100
    TabVLA38/–73/––86/56
    SilentDrift0/–0/––100
    Attack-A79/043/46–100
    Attack-B67/066/095/86100
    Attack-C71/063/091.0/93.0100
    • 作者称 Attack-B/C 植入可靠、抑制下几乎不泄漏(Secondary ASR 0%),[RESTORE]-Normal-SR 86–95%;State Backdoor 在 Sorting 上 Primary ASR 更高(86%)但无抑制能力、可被检出。
    • 作者称 TabVLA 与 SilentDrift 在其 2% 预算下未能可靠植入,其低检测分不代表有效规避。
    • 轨迹级(Table 3,Sorting):Attack-A/BOTH 首步 81.0%、step-coverage 75.9%;Attack-B/[DISRUPT] 首步 71.0%、step-coverage 66.7%;chunk 与 DTW 均为 100,作者称说明攻击是持续的定向控制而非单步伪影。

    检测抗性

    • SO-100(Table 4、Table 5):三种攻击均规避 STRIP;但 ADS 对 B、C 报平均 KL ≫ 1(判检出),重复探测二次 ASR 66–73%(B)、67%(C)超过 30% 阈值。IF 检测率:State Backdoor 96–98%、BadVLA 98–99%,Attack-B 降至 1–9%、Attack-C 3–18%;L2 散度 State Backdoor 13.56–19.04,Attack-B 1.30–1.42(作者称降 10–14×)。
    • 作者解读:B、C 的特性是攻击方可控性——同一物理触发器下切换 [DISRUPT]→[RESTORE],fail-match 从 61–69% 降至 0%(Table 8)。

    跨架构迁移(OpenVLA/LIBERO,Table 6)

    • 设置差异:OpenVLA 不直接消费本体状态,状态触发器编码进语言提示词(Proprio:[...] 字段),作者称因此结果隔离的是视觉+文本的合取,应读作机制迁移的证据而非本体触发器本身迁移。
    • 结果:Primary ASR 24.2–54.8%(spatial/goal 较高,long 最低);[RESTORE]-Fail ≤3%(全部套件);IF 7–15%(C)、约 10%(B);CA 94.8–99.0%;规避 STRIP 与 ADS(平均 KL 0.04–0.12 < 1);重复探测在 spatial/object/goal 上检出 B、C(二次 ASR 35–51%),在 long 上被规避。
    • 作者解读:ASR 低于 SO-100 源于 7B 策略用 LoRA 而非全量微调、LIBERO 回合更长、状态触发器改走像素/文本通道;CA 仍高说明是植入更难而非正常行为退化。

    其他消融与分析

    • 分裂触发器(Table 7 上,Attack A,Sorting):换单幅全幅触发器后 vision-only ASR 0→12%,IF 11%→100%,L2 1.01→15.14,规避防御 2/3→1/3。
    • 负面对比比例(Table 7 下):both-ratio 0.40/0.58/0.75 对应 ASR 70/79/86%,单模态 ASR 保持 0%,IF 6–11%。
    • 触发器可感知性:ε=32/255 时 PSNR 19.87±0.03 dB、SSIM 0.457±0.007(Sorting,N=100);作者称该幅值可见但有界,是针对自动检测器的隐蔽最优点而非人眼不可感知。
    • 投毒率敏感性(Table 9、10):B、C 在 10–30% 各投毒率下 [RESTORE]-Fail=0%、CA=100%、IF ≤18%;Attack A 在各投毒率下均被重复探测检出(ASR-[RESTORE] ≥46%)。
    • 语言触发器鲁棒性(Table 11,Attack B,Sorting):小写与加空格变体同样激活(69%),自然语言改写("disrupt"/"attack now"/"restore")激活 0%;作者称语言触发器是格式容忍的密钥而非语义指令。
    • 阈值敏感性(Table 12,Attack B,Sorting):τ 从 1.0 到 2.0,[RESTORE]-fail 恒 0%、CA 恒 100%,ASR 从 44% 到 83% 平滑变化。
    • 物理演示(5.4 节,Figure 3):DOFBOT Pro 上用人工指定触发器脚本化演示 [DISRUPT] 致右-左偏移与抓取失败、[RESTORE] 恢复;论文明确这不是训练中毒策略的推理,定量物理验证留作未来工作。
  5. 有什么可以进一步探索的点?

    作者列出评估范围、防御规避的特定性、首步代理指标与物理验证缺失等局限,并提出扩展评估方向。

    作者指出的局限与后续方向

    • 评估范围(Limitations):评估聚焦于代表性 VLA 架构与操作基准,是对 suppression-aware 后门的初步评估;攻击有效性随投毒预算与适配过程变化。
    • 规避是特定的而非普遍的(Limitations):攻击在两种设置下规避 STRIP、在 LIBERO 上规避 ADS(动作偏移小,平均 KL < 1),但 ADS 在 SO-100 上及多数 LIBERO 套件上能检出。
    • 主指标是首步代理(Limitations):主要成功指标是第一时间步代理,轨迹级度量只能缓解不能完全替代。
    • 物理实验性质(Limitations 与 5.4 节):物理机器人实验仅展示指令条件抑制的操作行为;5.4 节明确闭环部署与定量评估留作未来工作,因目标本体与 SmolVLA 预训练本体不同,需先单独验证干净任务控制保真。
    • 硬编码密钥(Limitations):[DISRUPT]/[RESTORE] 是硬密钥而非自然短语(格式容忍,附录 Table 11)。
    • 后续方向(Limitations):扩展到更多架构、任务与部署条件以进一步刻画结论的适用范围。

    实验覆盖范围

    • 被测策略为 SmolVLA(450M,全量微调)与 OpenVLA(7B,LoRA)共 2 个;数据集为 SO-100 的 Cube Sorting、Pick and Place 与 LIBERO 四套件。
    • 防御评测包括 STRIP、重复探测、ADS、Isolation Forest 四种;基线为 State Backdoor、BadVLA、TabVLA、SilentDrift 四种(后两者用其论文的 2% 投毒率)。
    • 帧级评估每条件 100 个随机 held-out 帧;STRIP 用 50 个查询帧、每帧 10 次叠加;重复探测与 ADS 各用 100 帧;论文未报告多次重复运行或方差。
    • 物理机器人(DOFBOT Pro)部分为脚本化定性演示,未在中毒策略上做定量评估(5.4 节)。
    • 评审方式为规则化阈值判定(1.5σ、KL > 1.0 等),未使用 LLM 评审或人工评估。
  6. 总结一下论文的主要内容

    作者提出三种可抑制 VLA 后门,在 SmolVLA/SO-100 上兼顾 63–71% ASR、100% CA 与 1–18% 的 IF 检测率。

    一篇关于 VLA 机器人策略后门攻击的论文,核心是"suppression-aware"后门:多模态合取触发 + 语言指令条件抑制。

    • 问题:作者称现有 VLA 后门多为单模态、无条件触发,触发后持续暴露恶意行为,易被检测;本文研究多模态联合触发与指令条件抑制。
    • 方法:共享 PGA 优化的初始位姿状态触发器,投毒 20% 示范数据行为克隆微调 SmolVLA;Attack A 要求状态+分裂图像联合触发,Attack B 用 [DISRUPT] 激活、[RESTORE] 抑制(无视觉扰动),Attack C 三者合取触发且可抑制。
    • 主结果(SmolVLA/SO-100,Table 2/5):Attack-B/C 的 Primary ASR 63–71%,CA 100%,抑制下 Secondary ASR 0%,[RESTORE]-Normal-SR 86–95%;IF 检测率从 State Backdoor 的 96–98% 降至 1–18%,L2 散度作者称降 10–14×。
    • 检测抗性:三种攻击均规避 STRIP,但 ADS 在 SO-100 上检出 B、C,重复探测二次 ASR 66–73% 超过 30% 阈值;作者称 B、C 的特性是攻击方可控的"kill switch"。
    • 迁移(OpenVLA/LIBERO,Table 6):Primary ASR 降至 24.2–54.8%,但 [RESTORE]-Fail ≤3%、IF 7–15%,作者称机制可迁移到 7B 策略,有效性取决于投毒预算与适配方式。
    • 作者结论:条件抑制是评估 VLA 后门威胁的一个重要维度;局限包括评估范围有限、规避非普遍、主指标为首步代理、物理验证仅为脚本化演示。

相关论文

共同使用 LIBERO
阅读原文arxiv.org