跳到正文
原文

鲁棒性作为可迁移技能:面向视觉-语言-动作策略的跨任务对抗防御

Robustness as a Transferable Skill: Cross-Task Adversarial Defense for Vision-Language-Action Policies

arXiv:其他 AI 安全论文· arXiv:2611.18702· Jinquan Zhang, Run Yang, Dongfu Yin, Qiang Lai, Yufeng Yan, Pengshuai Yin, F. Richard YuGuangdong Laboratory of Artificial Intelligence and Digital Economy (SZ); Shenzhen University; Carleton University本站收录· 2 天前· 原文发表防御· 扫描记录里的位置 →

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 SN-TRV,把源任务对抗微调得到的视觉防御更新迁移到独立训练的 VLA 目标策略;在 OpenVLA-OFT 的 Goal 上,固定 Dual EDPA 下成功率从 22.2% 升至 95.4%。

威胁模型攻击者为 EDPA 物理可实现对抗补丁:Primary/Wrist 分别攻击单个相机,Dual 同时攻击双相机;默认补丁针对原始目标策略优化,自适应设置下用 50k 步对每个受害策略重新优化。

问题
VLA 策略易受对抗视觉扰动影响,而现有防御通常要对每个任务单独做对抗微调。作者问:源任务上学到的鲁棒性能否作为可迁移能力,保护另一个独立训练的目标策略。
方法
在源任务上做 EDPA 对抗微调,取视觉编码器的参数差作为防御向量;SN-TRV 保留多源更新均值的方向,用源更新范数均值校准幅度,再加到目标视觉编码器,无需目标侧对抗数据或梯度优化。
实验与结果
在 LIBERO 上用 OpenVLA-OFT、OpenVLA、π0 三个骨干评测。固定 Dual EDPA 下,OpenVLA-OFT 的 Goal/Long 成功率由 22.2%/10.0% 升至 95.4%/79.4%;自适应重优化攻击下仍优于 Mean-∆;PiPER 真机打印补丁下平均成功率由 20.3% 升至 45.8%。
局限与可以继续做的
作者指出:迁移依赖兼容的参数空间与源防御学到的攻击覆盖范围,干净性能代价随任务和架构变化;EDPA-AF 来源的更新对 AGSD 攻击几乎无效;结论基于三个骨干、LIBERO 四套件和四类真机任务。
实验设置OpenVLA-OFT、OpenVLA 等 · LIBERO(Spatial、Object、Goal、Long 四个套件)、PiPER 真机平台(Pick & Place、Open Drawer、Stack Cube、Long Task) · 任务成功率 SR(%)、Fixed−Adaptive Drop(百分点)
威胁模型
攻击者为 EDPA 物理可实现对抗补丁:Primary/Wrist 分别攻击单个相机,Dual 同时攻击双相机;默认补丁针对原始目标策略优化,自适应设置下用 50k 步对每个受害策略重新优化。防御方需在无目标对抗数据、无目标侧梯度优化、无额外推理模块的条件下,把源任务防御更新加到目标视觉编码器(需访问目标参数)。
被测模型
OpenVLA-OFTOpenVLAπ0
基准
LIBERO(Spatial、Object、Goal、Long 四个套件)PiPER 真机平台(Pick & Place、Open Drawer、Stack Cube、Long Task)
指标
任务成功率 SR(%)Fixed−Adaptive Drop(百分点)
AI 导读研究者提出 SN-TRV 方法,无需目标侧对抗数据、梯度优化或额外推理模块,即可把源操作任务上学到的鲁棒性迁移到独立专门化的 VLA 策略。VLA(视觉-语言-动作)策略易受对抗视觉扰动,现有防御通常依赖任务特定的对抗微调。论文先显示单一源防御更新即可提升留出任务的鲁棒性;SN-TRV 保留源防御更新均值的方向,并用源更新范数校准幅度,直接应用于目标视觉编码器。在三个 VLA 骨干模型、固定与自适应攻击及多种源防御配方上的评测显示其鲁棒性优于朴素平均,并指出攻击覆盖面上的局限;PiPER 实体机器人在打印对抗贴片下平均成功率从 20.3% 升至 45.8%。

研究者提出 SN-TRV 方法,无需目标侧对抗数据、梯度优化或额外推理模块,即可把源操作任务上学到的鲁棒性迁移到独立专门化的 VLA 策略。VLA(视觉-语言-动作)策略易受对抗视觉扰动,现有防御通常依赖任务特定的对抗微调。论文先显示单一源防御更新即可提升留出任务的鲁棒性;SN-TRV 保留源防御更新均值的方向,并用源更新范数校准幅度,直接应用于目标视觉编码器。在三个 VLA 骨干模型、固定与自适应攻击及多种源防御配方上的评测显示其鲁棒性优于朴素平均,并指出攻击覆盖面上的局限;PiPER 实体机器人在打印对抗贴片下平均成功率从 20.3% 升至 45.8%。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者研究源任务学到的对抗鲁棒性能否不做目标侧对抗微调,直接迁移给独立训练的 VLA 目标策略。

    核心问题:在一个操作任务上学到的对抗鲁棒性,能否作为可迁移能力复用到另一个独立专门化的 VLA 策略上,而无需目标侧对抗微调。

    • 场景与动机:VLA 策略(如 RT-2、OpenVLA、Octo、π0)依赖视觉观测,物理可实现的对抗补丁可直接导致执行失败;作者称 EDPA 等攻击能严重降低 VLA 操作性能。
    • 现有方法的不足:作者称现有 VLA 防御(对抗微调、注意力感知优化、轻量适配器、认证鲁棒等)主要通过对被保护策略本身做优化来获得鲁棒性;当策略为新任务独立专门化后,即使已有鲁棒的源策略,对抗微调可能仍需重复进行。
    • 核心观察:作者发现,即使只迁移单个源任务的防御更新,也能提升留出目标任务的鲁棒性,说明跨任务防御复用不依赖多源聚合方法。
    • 论文提出的方法:提出 Source-Norm Transferable Robustness Vector(SN-TRV),保留多源防御更新均值的方向,用源更新范数校准其幅度,加到目标视觉编码器上,不需要目标对抗数据、目标侧梯度优化或额外推理模块。
    • 威胁模型:
      • 攻击者目标:用对抗补丁扰动视觉观测,使 VLA 操作失败。
      • 攻击方式:EDPA 补丁,Primary/Wrist 分别攻击单个相机,Dual 同时攻击双相机;默认补丁针对原始目标策略优化,自适应设置下用 50k 步对每个受害策略重新优化。
      • 防御方能力:可访问目标参数,但不用目标对抗数据、不做目标侧梯度优化、不加推理模块。
      • 受害系统:在 LIBERO 上独立专门化的 OpenVLA-OFT、OpenVLA、π0 策略,以及 PiPER 真机上的 π0 策略。
  2. 有哪些相关研究?

    相关工作分三组:VLA 及其鲁棒性评测、VLA 的对抗攻击与防御、鲁棒性迁移与参数空间复用。

    VLA 策略与鲁棒性评测

    • RT-2、OpenVLA、Octo、π0 [1]–[4]——展示 VLA 策略在机器人操作上的迁移与泛化能力;LIBERO [13] 是评测知识迁移与长程操作的常用基准。
    • EVA-VLA、LIBERO-Plus [8]、[14]——在真实分布偏移下评测 VLA 鲁棒性;多视角研究 [15] 发现对抗训练下的 view collapse 失效模式。论文指出这些工作主要评测给定策略训练后的鲁棒性,而本文问的是已学鲁棒性能否跨独立专门化的策略复用。

    VLA 的对抗攻击与防御

    • 攻击:EDPA [5] 提出模型无关对抗补丁及对应对抗微调;UPA-RFAS、AttackVLA [6]、[7] 等研究通用迁移、注意力操纵与更广攻击目标;UniTexture [18] 的跨任务攻击提示 VLA 脆弱性可能含任务共享结构。
    • 防御:SARF、VLA-Guard、RobustVLA、StableVLA、RoVLA、CertVLA [9]–[12]、[19]、[20] 通过对抗微调、表征校正、轻量适配或认证提升鲁棒性。论文指出这些防御主要优化被保护的策略本身,通常需要针对目标的鲁棒优化。

    鲁棒性迁移与参数空间复用

    • 传统视觉中的鲁棒性迁移 [21]、[22] 研究从预训练到下游任务的鲁棒性继承;论文指出它们关注下游适配,而非在独立专门化的机器人策略之间迁移防御更新。
    • Task Arithmetic [23]、TIES-Merging [24] 展示微调更新的复用与组合;RETAIN [25] 插值预训练与微调权重保持泛化能力,VLA-Pro [26] 通过适配器迁移程序性知识。
    • MAGIC [27] 研究模型合并中的幅度偏差并提出逐层校准(含无数据的 WSC);作者称不把幅度校准作为通用创新点,而是研究跨任务对抗防御复用中的纯源端全局范数校准,并把一个 WSC 配置作为基线。

    基线与基准:迁移基线包括 Original、直接迁移 Spatial/Object 防御向量、Mean-∆、Cos-Select、WSC [27];参照为使用目标侧对抗微调的 EDPA-AF [5]。评测基准为 LIBERO 四个套件(Spatial、Object、Goal、Long)和 PiPER 真机任务。

    作者将本文定位为:把源任务学到的对抗防御更新迁移到独立专门化的目标策略,不做目标侧对抗微调,区别于上述优化被保护策略本身或做下游适配的工作。

  3. 论文如何解决这个问题?

    SN-TRV:取源任务对抗微调前后视觉编码器的参数差,保留多源均值方向、用源更新范数均值校准幅度,加到目标视觉编码器。

    整体思路:把源任务上对抗微调带来的视觉编码器参数变化提取为"防御向量",多源聚合时把方向估计与幅度选择解耦——方向取均值、幅度取源更新范数的均值——再将得到的更新直接加到留出目标策略的视觉编码器上。方法名为 Source-Norm Transferable Robustness Vector(SN-TRV)。

    问题设定与形式化

    • 策略写作 Θ = (θ, ψ),θ 为视觉编码器参数,ψ 为其余组件。源任务 i 的原始与鲁棒策略为 Θi 和 ΘRi,防御更新为 Δi = θiR − θi,即对抗微调引起的视觉参数变化。
    • "留出(held-out)"指目标策略不参与防御向量的构建与校准,但可能已完成自身操作任务的训练;同一骨干内源与目标视觉编码器共享架构、初始化与参数化,保证坐标对齐的迁移。
    • 只修改目标视觉编码器;动作头、本体感受模块、归一化统计、tokenizer 等非视觉组件保持不变。直接加单个 ∆i 构成单源迁移基线。

    多源防御更新的聚合问题

    • 给定 M 个源更新,聚合方向取均值:Δ̄ = 1/M∑i Δi,单位化后作为防御方向;平均会让对齐成分叠加、分歧成分抵消,范数大的源对方向影响更大。
    • 定义源更新范数均值 rsrc = (1/M)Σ‖∆i‖2;由三角不等式,均值向量的范数 ≤ rsrc,源间不一致会衰减聚合范数。作者指出这种几何衰减本身不能说明更弱的更新对目标更好,因此需要单独的幅度校准。

    SN-TRV 的构造

    • SN-TRV 保留均值方向、赋予源范数均值:∆SN = (rsrc / ‖∆̄‖2)·∆̄,只改变幅度,不改变方向与参数支持。
    • 对两个非零源更新,缩放系数 λSN = (r1+r2) / √(r1²+r2²+2r1r2·c),c 为两更新的余弦相似度;等范数正交时为 √2,同向共线时为 1。作者说明这些特例是说明性条件,不是对所学更新的假设。
    • 等价地,SN-TRV 是在 ‖∆‖2 = rsrc 约束下最小化 Σ‖∆ − ∆i‖2² 的共识解;作者称这是几何刻画,不是目标鲁棒性最优的保证。迁移后策略为 ΘSN_T = (θT + ∆SN, ψT),架构与推理流程不变。

    源防御与攻击设置

    • 源鲁棒策略由 EDPA 对抗微调(EDPA-AF)得到,更新视觉编码器 50k 步;另评测 SARF 来源的更新。攻击为 EDPA(Primary/Wrist/Dual),另有 AGSD 攻击用于攻击范围分析。
    • 默认源套件为 Spatial 和 Object,Goal 与 Long 被排除在向量构建之外作为目标;每个骨干内部单独构建和迁移,不跨不兼容架构。

    对照构造

    • Cos-Select:把视觉编码器分为 53 个参数组,排除 2 个零更新组后按 Spatial 与 Object 更新的带符号余弦相似度排序,前 50%(K = 26)保留等权平均的源更新、其余置零;掩码只用源端信息,不做范数补偿。
    • Cos-Select+SN:保留该掩码并把选中更新缩放到与 SN-TRV 相同的全局范数,用于在等范数下比较不同更新构造;WSC [27] 作为另一个校准基线。
  4. 论文做了哪些实验?

    在 LIBERO 三骨干上做固定/自适应 EDPA 迁移、防御配方与幅度消融,并在 PiPER 真机上验证;SN-TRV 多数设置优于 Mean-∆。

    实验设置

    • 被测策略:OpenVLA-OFT(主骨干,主相机+腕部相机+本体感受输入)、OpenVLA、π0;每个骨干内源与目标编码器架构对齐。
    • 基准:LIBERO 四套件 Spatial、Object、Goal、Long,每套件 10 个任务;默认源为 Spatial 和 Object,Goal、Long 为留出目标。
    • 样本量:除特别说明外每任务 50 次 rollout,即每个套件级条件 500 个 episode;真机每个任务–条件对 100 次试验。
    • 攻击:EDPA(Primary/Wrist/Dual),补丁默认针对原始目标策略优化;自适应设置用相同 50k 步预算对每个受害策略重新优化;另有 AGSD 攻击。
    • 基线与参照:Original、Spatial ∆、Object ∆、Mean-∆、Cos-Select、WSC [27];EDPA-AF 为使用目标对抗数据和目标侧优化的鲁棒性参照,作者明确它不是预算匹配的迁移基线。
    • 指标:任务成功率 SR(%);Table II 另报告 Fixed−Adaptive 的 Drop(百分点)。

    主结果

    Table I:OpenVLA-OFT 上跨任务迁移,EDPA 攻击,值为成功率(%)。

    表格较宽,可左右滑动

    目标方法CleanPrimaryWristDual
    GoalOriginal97.288.861.422.2
    GoalSpatial ∆93.090.092.487.2
    GoalMean-∆94.684.481.476.6
    GoalEDPA-AF [5]96.497.096.296.2
    GoalSN-TRV97.297.097.295.4
    LongOriginal93.268.448.210.0
    LongSpatial ∆90.279.881.668.6
    LongMean-∆90.476.876.462.0
    LongEDPA-AF [5]92.686.890.885.2
    LongSN-TRV92.486.287.679.4

    (据 Table I;Object ∆ 与 Cos-Select 行省略,其 Dual 值在 Goal 上为 80.0/80.8、Long 上为 60.6/58.2。)

    • 单源迁移即有效:作者指出直接迁移 Spatial 更新把 Dual 成功率从 22.2%/10.0% 提到 87.2%/68.6%(提升 65.0 和 58.6 个百分点),说明跨任务防御复用不依赖多源聚合。
    • 朴素平均反而更差:Mean-∆ 的 Dual 成功率(76.6%/62.0%)低于直接 Spatial 迁移;SN-TRV 比 Mean-∆ 高 18.8 和 17.4 个百分点,干净成功率保持在 97.2%/92.4%。
    • 与目标侧微调的差距:Goal 和 Long 平均,SN-TRV 的 Dual 成功率为 87.4%,目标专属 EDPA-AF 为 90.7%(后者每目标需 50k 步优化,且该比较假设源鲁棒策略已就绪、不计其训练成本)。

    自适应攻击

    • 测了什么:Table II 用 50k 步预算对每个受害策略重新优化 Dual EDPA,检验固定补丁增益是否来自攻击–模型失配。
    • 结果:自适应 Dual 下,SN-TRV 在 Goal 上从 Mean-∆ 的 61.4% 升至 81.2%,Long 上从 28.6% 升至 46.6%;SN-TRV 的 Fixed→Adaptive Drop 为 14.2/32.8 个百分点,与 Mean-∆(15.2/33.4)接近。Long 上 SN-TRV(46.6%)高于 EDPA-AF(43.8%),作者称这不构成对目标专属对抗微调的普遍优势。
    • 作者解读:源范数校准的收益在自适应协议下仍然存在,主要优势是更高的绝对成功率,而非更小的固定到自适应降幅。

    防御配方与攻击范围

    • 测了什么:Table III 在 OpenVLA 上比较 EDPA-AF 与 SARF 两种来源更新,分别对 EDPA 和 AGSD 攻击评测。
    • 结果:EDPA-AF 来源的 SN-TRV 对 EDPA 成功率为 59.2%/27.4%(Goal/Long),但对 AGSD 仅 2.0%/0.8%;SARF 来源的 SN-TRV 对 EDPA 为 72.4%/44.0%,对 AGSD 为 71.8%/43.2%。与对应防御参照的差距在 0.0–2.2 个百分点,作者称这是点估计上的接近,不是统计等价。
    • 作者解读:源防御配方决定迁移后的攻击覆盖范围,SN-TRV 负责聚合与幅度校准;校准 EDPA-AF 更新并不能让其对 AGSD 有效。

    跨骨干泛化与真机实验

    • 跨骨干(Table IV):OpenVLA 上 SN-TRV 把 EDPA 成功率从 0.0% 升至 59.2%(Goal)和 27.4%(Long);π0 上从 49.6% 升至 89.8%(Goal)、从 32.8% 升至 71.4%(Long),但 π0 Long 的干净成功率从 81.0% 降到 75.8%。作者称干净性能代价随架构和任务变化。
    • 真机(Table VI):PiPER 上四个任务、打印 EDPA 补丁,原始策略平均成功率从干净 68.0% 降到 20.3%;SN-TRV 升至 45.8%,高于 Single-∆ 的 27.5%,低于目标专属 EDPA-AF 的 48.5%;对 Single-∆ 的优势在四个任务上都成立(如 Long Task 40.0% 对 22.0%)。

    其他消融与分析

    • 方向–幅度分析(Fig. 4):Spatial 与 Object 更新全局余弦相似度 0.0942;均值范数 7.841 低于源范数均值 10.600;SN-TRV 在同方向上把范数恢复到 10.600(约 ×1.352)。
    • 幅度扫描(Fig. 5):λ ∈ {1.0, 1.25, λSN, √2, 2.0},λSN ≈ 1.352 时干净与固定 Dual 成功率在五个取值中最高;λ = 2 时 Dual 降到 74.2%/54.4%、干净降到 86.4%/76.8%。作者称这支持源端导出的幅度参考,而非全局最优或统计优势。
    • 更新构造(Table V):Cos-Select 原始范数 5.477,等范数(10.600)下 Cos-Select+SN 的 Dual 为 89.4%/70.6%,仍低于 SN-TRV 的 95.4%/79.4%;WSC 为 84.2%/68.8%。
    • 单相机与双相机(Table I):Long 上 Original 在 Primary/Wrist 下为 68.4%/48.2%,Dual 下仅 10.0%;作者据此指出单视角攻击下的好表现不能代表双视角同时受扰时的表现。
  5. 有什么可以进一步探索的点?

    作者指出迁移受参数空间兼容性和源防御攻击覆盖范围限制,干净性能代价随任务与架构变化。

    作者指出的局限与后续方向

    • 参数空间兼容性(Conclusion):作者称方法的适用性依赖兼容的参数空间;实验只在同一骨干内部做坐标对齐的迁移,不跨不兼容架构。
    • 攻击覆盖范围(Conclusion 与 Section IV-E):迁移后的防御保留源防御学到的攻击覆盖模式,而非产生攻击无关的新防御;EDPA-AF 来源的更新在 AGSD 上仅 2.0%/0.8%(Table III)。
    • 干净性能代价(Conclusion 与 Section IV-F):干净性能的损失随任务和架构变化,例如 π0 Long 干净成功率从 81.0% 降到 75.8%(Table IV)。
    • 幅度校准的范围(Section IV-G):作者称幅度扫描支持"源端导出的幅度参考",但不构成连续尺度上的全局最优,也不是相对邻近取值的统计优势;SN-TRV 的几何刻画不保证目标鲁棒性最优(Section III-C)。
    • 与目标侧微调的关系(Section IV-D):Long 上 SN-TRV 自适应成功率高于 EDPA-AF(46.6% 对 43.8%)不确立对目标专属对抗微调的普遍优势;与防御参照的差距是点估计,非统计等价(Section IV-E)。

    实验覆盖范围

    • 被测骨干为 OpenVLA-OFT、OpenVLA、π0 共 3 个;仿真基准为 LIBERO 的 Spatial、Object、Goal、Long 四套件(每套件 10 任务,每条件 500 episode)。
    • 攻击覆盖 EDPA(Primary/Wrist/Dual,固定与 50k 步自适应重优化)和 AGSD;防御配方覆盖 EDPA-AF 与 SARF 两种来源。
    • 真机评测为 PiPER 上 4 个任务(Pick & Place、Open Drawer、Stack Cube、Long Task),每任务–条件 100 次试验,使用打印 EDPA 补丁。
    • 源套件固定为 Spatial 和 Object、目标固定为 Goal 和 Long;论文未报告其他源/目标套件组合或更多源数量的实验。
    • 论文未报告成功率测量的置信区间或统计显著性检验;自适应评测使用与固定攻击相同的 50k 步攻击预算(Section IV-D)。
  6. 总结一下论文的主要内容

    作者提出并验证跨任务对抗防御复用:源任务的视觉防御更新可迁移到独立训练的 VLA 目标策略,SN-TRV 负责多源聚合。

    一篇关于 VLA 策略对抗防御的论文,核心问题是:在一个操作任务上学到的鲁棒性能否不做目标侧对抗微调就复用到另一个独立专门化的策略。

    • 方法:把源任务 EDPA 对抗微调前后视觉编码器的参数差作为防御向量;SN-TRV 保留多源更新均值的方向,用源更新范数均值校准幅度,加到目标视觉编码器,无需目标对抗数据、目标侧梯度优化或额外推理模块。
    • 单源迁移即成立:OpenVLA-OFT 上直接迁移 Spatial 更新,把固定 Dual EDPA 成功率从 22.2%/10.0%(Goal/Long)提到 87.2%/68.6%(Table I)。
    • 多源聚合需校准:朴素 Mean-∆ 因源更新弱对齐(余弦相似度 0.0942)发生范数衰减,Dual 仅 76.6%/62.0%;SN-TRV 达 95.4%/79.4%,干净成功率保持 97.2%/92.4%(Table I、Fig. 4)。
    • 自适应攻击下仍有效:50k 步重优化的 Dual EDPA 下,SN-TRV 在 Goal/Long 上为 81.2%/46.6%,高于 Mean-∆ 的 61.4%/28.6%(Table II)。
    • 泛化与代价:OpenVLA 与 π0 上同样观察到迁移收益(π0 Goal 从 49.6% 升至 89.8%),但 π0 Long 干净成功率从 81.0% 降到 75.8%(Table IV);PiPER 真机打印补丁下平均成功率从 20.3% 升至 45.8%,仍低于目标专属 EDPA-AF 的 48.5%(Table VI)。
    • 作者的结论:跨任务防御复用在三个骨干、固定与自适应攻击及真机上均观察到收益;但作者强调其适用性依赖兼容的参数空间和源防御的攻击覆盖范围(EDPA-AF 来源更新对 AGSD 几乎无效),干净性能代价随任务与架构变化,且幅度校准是源端参考而非最优保证。
阅读原文arxiv.org