跳到正文
原文
arXiv:后门、投毒与隐私· arXiv:2609.39047· Zhihang Wu, Zhongqi Wang, Jie Zhang, Fengming Gu, Shiguang Shan, Xilin Chen·本站收录· 原文发表

BadAction:通过动作引导触发器对交互式视频生成模型实施后门攻击

BadAction: Backdoor Attacks on Interactive Video Generation via Action-Guided Triggers

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

BadAction用动作触发在Astra上植入后门,Sekai仅动作设置的ASR_SSIM S-T为91.0%。

威胁模型white-box对手控制数据整理与微调,可构造投毒的动作–视频对并修改训练损失,不能改模型结构或部署流程。

问题
交互式视频生成用用户动作连续控制画面,作者认为这一通道上的后门仍基本未被研究。BadAction要在投毒微调后,让特定动作模式触发冻结画面并忽略后续动作,同时保留无触发时的交互生成。
方法
固定运动模式被写入投毒动作序列,并与触发点之后的静态视频配对,再用良性项加投毒项的flow matching损失微调Astra。文本和条件帧上的固定模式可与动作组成复合触发,需同时出现才激活。
实验与结果
在Sekai、Astra上,仅动作触发的ASR_SSIM S-T为91.0%、ASR_Human为89.6%,三模态为80.4%。T2IShield与UFID对动作后门的recall为50.0%与18.0%。
局限与可以继续做的
论文未单列局限。结论希望后续研究更强的攻击,以及面向交互式视频生成的专用防御。实验在Astra(Wan2.1-T2V-1.3B)和Sekai各100条划分上完成,未报告志愿者一致性、重复次数或随机种子。
实验设置Astra (Wan2.1-T2V-1.3B) · Sekai · ASR_SSIM S-T、ASR_Human 等
威胁模型
white-box对手控制数据整理与微调,可构造投毒的动作–视频对并修改训练损失,不能改模型结构或部署流程。对手把适配后的IVG上传到第三方平台。目标是触发后生成指定静态输出并忽略后续动作,无触发时保持交互生成。
被测模型
Astra (Wan2.1-T2V-1.3B)
基准
Sekai
指标
ASR_SSIM S-TASR_HumanFVDCLIPSIMPrecisionRecallF1
AI 导读研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

研究者提出 BadAction,首次系统研究针对交互式视频生成(IVG)模型交互性的后门攻击。该方法把预定义运动模式植入后门样本的动作序列,并关联一个静态目标视频,触发后模型生成冻结的未来帧、不再响应用户后续动作,同时在正常动作序列上保持正常行为。实验显示,仅用动作触发器时平均攻击成功率为 91.0%,动作、文本、图像联合的多模态触发器为 80.4%。大量防御评估表明 BadAction 能绕过现有后门检测方法,暴露出交互式视频生成流程中的安全缺口。项目页面:https://wsad55.github.io/badaction01/。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    动作通道可被植入后门,使触发后的画面冻结并不再响应后续动作。

    交互式视频生成的动作通道能否被植入后门,使触发后的画面冻结并忽略后续用户动作。

    • 场景与重要性:IVG在图像和用户动作序列条件下自回归合成视频,作者列举其用于自动驾驶仿真、机器人操作和虚拟内容制作。作者认为,带来可控性的动作接口也是尚未被考察的攻击面,需要评估交互生成的安全性。
    • 现有方法的不足:作者称生成模型后门主要落在文本提示词或视觉条件上,对象是图像生成或一次性文生视频。持续接收控制信号、自回归出视频的IVG仍基本空白;作者还称T2IShield与UFID检查图像或文本,不检查动作控制。
    • 本文提出的攻击:作者提出BadAction,并称这是针对IVG动作模态的后门:预定义运动模式写入投毒动作序列并与静态目标视频绑定,触发后帧冻结,良性序列仍按动作交互。作者同时考察动作、文本、图像的联合投毒,并称其只在多通道模式同时出现时激活,因而更隐蔽。
    • 威胁模型:
      • 受害系统与场景:对手用含毒的动作–视频对适配预训练IVG,把得到的模型上传到第三方平台;用户下载部署,且不检查训练过程或适配数据。
      • 知识:作者将对手设为white-box。
      • 能力:对手控制数据整理和微调,可构造投毒对并修改训练损失;不能改模型结构,也不能影响部署阶段的流程。
      • 目标:无触发时保持原有交互生成;任意带触发的动作序列必须产出攻击者指定的静态目标,并忽略其后全部用户动作。
  2. 有哪些相关研究?

    作者称既有生成模型后门多作用于文本或图像,IVG的动作通道仍少被研究。

    交互式视频生成。

    • 早期与扩散式框架:Goodfellow等(2014)的GAN、Bruce等(2024)的自回归交互环境,以及Valevski等(2025)和Che等(2025)的扩散式交互框架。作者称扩散式框架已成为可控视频生成的主要范式。
    • 多条件与实时控制:Hu等(2023)、Zheng等(2024a)和Gao等(2024)把深度、边缘或运动轨迹等条件放进同一架构。Feng等(2026)与Quevedo等(2024)把交互引入视频生成。作者称该攻击面仍基本未被研究。

    扩散模型上的后门。

    • 噪声触发:论文写道,Chen等(2023)与Chou等(2023a)在DDPM和DDIM上把触发写入初始噪声,并在采样时改噪声以激活后门。
    • 文生图:论文还介绍多模态数据投毒(Zhai等,2023)、直接操纵文生图过程(Vice等,2024)、文本编码器后门(Struppek等,2023)、训练图像的隐蔽投毒(Shan等,2024)、借助个性化的少样本攻击(Huang等,2024),以及不改微调流程、以数据投毒诱发版权问题(Wang等,2024a)。

    视频生成后门与检测。

    • 文生视频与世界模型:BadVideo(Wang等,2025a)把触发嵌在文本提示词里;BadDreamer(Shuai等,2026)针对自动驾驶的视频世界模型。作者称既有生成模型后门面向图像生成或一次性文生视频,触发位于文本或输入图像等静态输入;自回归并连续接收用户控制的IVG仍基本未被研究(并引用Wang等,2025c)。
    • 检测:T2IShield(Wang等,2024b)和UFID(Guan等,2025)针对扩散模型。作者称它们关注图像或文本输入,不检查动作控制。

    实验中的基线与数据。

    • 基线:BadNets(Gu等,2019)、Blended(Chen等,2017)、SIG(Barni等,2019)、ReFool(Liu等,2020)和WaNet(Nguyen与Tran,2021)把触发注入条件帧;BadNets-T在文本中插入固定token。论文写明这些基线与BadAction使用同一套微调和评测协议。
    • 数据:Sekai(Li等,2026)的子集,含带相机外参标注的第一人称视频。

    作者在摘要和引言中称这是对IVG交互性的首次系统性后门研究,并把BadAction称为面向动作模态的后门,用以区别只在静态条件上投毒的图像或一次性文生视频攻击。

  3. 论文如何解决这个问题?

    固定动作模式绑定静态视频,混合flow matching损失微调,触发后画面冻结。

    BadAction用动作序列里的固定运动模式做触发,并把它和触发点之后的静态视频绑在一起,再用良性项与投毒项混合的flow matching损失微调IVG。触发出现后,后续潜变量块被预测成相同内容,画面不再跟随之后的用户动作。

    生成过程与攻击落点

    • 自回归分解:攻击实现在Astra上,论文将其作为自回归去噪世界模型。视频分成潜变量块,下一步条件于已生成块、当时可见的动作前缀,以及可选文本c。
    • 速度场:每步对目标块做带噪插值,用flow matching让v_θ拟合该条件上的真实速度。动作经Astra的action-aware adapter进入潜空间,文本走文本编码器。适配器结构不改,训练更新其参数。
    • 骨干:实验里的扩散模型是Wan2.1-T2V-1.3B flow transformer。动作编码器接收相机外参,帧编码器接收初始帧。

    投毒样本与混合损失

    • 触发嵌入:τ是所有投毒样本共用、长度固定的一段动作位移。良性动作序列里一段连续动作换成τ,其他动作保持原样。
    • 静止监督:触发位置之前保留原帧,之后各帧都冻成攻击者指定的同一块。投毒样本因此包含触发前仍交互、触发后画面不动这一条件行为。
    • 损失:微调目标写成Ltotal=Lbenign+λ Lpoisoned。前一项在干净动作前缀上拟合原速度场,后一项把带触发的前缀拟合到静态目标速度场v^†,λ>0调节两边。

    多模态触发

    • 动机与通道:模型还接收文本和条件图像。作者把触发扩到这些通道,并称多个模式必须同时出现,因而比单通道更隐蔽。
    • 激活:只有每个被选中的通道都带有攻击者指定模式时才激活。双通道包括动作+文本、动作+图像、文本+图像,三通道三者一起投毒;没被选中的通道仍用原来的输入。
    • 具体图案:文本侧采用BadNets那种在提示词上加固定关键词的做法,图像侧用SIG的正弦扰动加到条件帧。动作默认k=4。关键词和四步位移的顺序写在Section 4.1,这里不抄关键词。含文本触发的配置才更新文本编码器。

    训练范围与判定

    • 更新范围:植入时更新动作编码器、动作适配器、自注意力层,以及和被投毒通道相关的模块;其余通道模块冻结。按威胁模型,网络结构本身不改。
    • 超参:学习率1×10−5,batch size为1。实现细节写15个epoch;消融节写主实验取第8个epoch的检查点。默认投毒比例θ=37.5%,λ=3.0。论文在两处分别写了15个epoch和采用e=8的检查点,没有说明二者的关系。
    • 效用:无触发时报告FVD和CLIPSIM。FVD用StyleGAN-V的实现比较真实与生成视频的特征分布,越低越好;CLIPSIM衡量视频和文本的语义对齐,越高越好。
    • 攻击是否成功:不按分类标签,而看触发之后画面是否还在动。在触发位置后的帧上,D是相邻帧1−SSIM的平均。成功率为ASRSSIMS−T=1/N∑n=1NI[D(F̂(n))≤τ],τ取100条良性视频上D的最小值0.27,N是触发测试视频的个数。另外请10名志愿者观看,把被判断为触发后变静的视频比例记为ASR_Human。
  4. 论文做了哪些实验?

    仅动作触发的ASR_SSIM S-T为91.0%,T2IShield的recall为50.0%。

    实验设置

    • 模型:Astra,骨干Wan2.1-T2V-1.3B。动作编码器、文本编码器与帧编码器分别处理相机外参、文本和初始帧。
    • 数据:Sekai子集,训练、测试、验证各随机抽取100条第一人称片段。每条包含条件图像、动作序列、可选文本和视频。
    • 训练配置:学习率1×10−5,batch size为1。实现细节写15个epoch,消融节写主实验采用e=8的检查点,论文未说明二者关系。默认θ=37.5%,λ=3.0,动作触发长度k=4(顺序写在Section 4.1)。更新动作编码器、动作适配器、自注意力层和被投毒通道相关模块。
    • 对比:BadNets、Blended、Sig、ReFool、WaNet把触发放入条件帧;BadNets-T向文本插入固定token。表中还有Image-Text、Image-Action、Text-Action和Tri-modal。基线与BadAction使用同一微调和评测协议。
    • 指标:ASR_SSIM S-T以τ=0.27判定静止,该值是100条良性视频上D的最小值。ASR_Human由10名志愿者判断。良性效用为FVD与CLIPSIM。
    • 检测协议:T2IShield与UFID,各100个后门样本和100个良性样本,假阳性率5%。论文未报告志愿者一致性、汇总方式、重复次数或随机种子,也未写明ASR的N是否就是测试集的100。

    主结果

    ASR与良性效用来自Table 1和Table 2,受害模型均为Astra。ASR、CLIPSIM为百分数,FVD无百分号。表内省略BadNets、Blended、WaNet三行。

    表格较宽,可左右滑动

    方法触发ASR_SSIMASR_HumanCLIPSIMFVD
    BadActionAction91.0%89.6%82.3%759.1
    Text-ActionText+Action84.7%81.2%82.2%772.4
    Image-ActionImage+Action82.1%83.4%81.6%1968.5
    Tri-modalImage+Text+Action80.4%73.2%81.4%2050.8
    SigImage69.4%61.3%82.4%2125.2
    Image-TextImage+Text58.5%52.3%82.5%2117.8
    BadNets-TText29.7%26.9%81.8%758.1
    ReFoolImage26.4%20.7%77.9%1036.0
    • 未列入行:顺序同为ASR_SSIM S-T、ASR_Human、CLIPSIM、FVD。BadNets为63.2%、60.1%、82.5%、777.8;Blended为60.5%、53.1%、80.3%、834.2;WaNet为48.6%、47.3%、82.2%、803.8。良性模型CLIPSIM 85.1%、FVD 345.7(Table 2)。正文4.2.3写85.2%,以表为准。
    • 攻击效果:作者称同一模型与微调设置下,仅动作触发在两项ASR上都最高,比图像基线Sig分别高21.6和28.3个百分点。作者称复合触发仍然有效,但低于仅动作触发,并称所测配置里动作通道最容易被植入后门。摘要把多模态攻击成功率写作80.4%;引言并列82.1%、84.7%和80.4%。Table 1与引言一致,80.4%是三模态的ASR_SSIM S-T,不是各多模态行的平均。
    • 生成效用:作者称BadAction保持生成效用,CLIPSIM在各后门方法中处于较好一档,FVD接近其中较低的结果。表内CLIPSIM高于动作触发BadAction的有Image-Text和Sig。FVD最低的后门行是BadNets-T。三模态的ASR_Human低于其ASR_SSIM S-T,论文未解释。

    定性示例

    • Figure 3:作者称良性动作下画面跟随用户动作,触发后帧在Trigger reached之后变得相同。图中有W、A、S、D。文本转换看不到帧差数值。
    • Figure 4与Figure 5:作者称关键词与SIG图块同时出现才冻结;三模态还要加上动作模式,现象与仅动作触发一致。关键词见Section 4.1与这两张图,此处不抄写。

    检测结果

    • Table 3:BadAction的T2IShield为precision 98.0%、recall 50.0%、F1 66.2%,UFID为78.3%、18.0%、29.3%。基线里T2IShield recall最低为BadNets-T的85.9%,Blended、Sig、ReFool为100.0%。作者称两种检测器precision高、recall低;摘要写能够绕过现有检测,表中recall不是0。
    • Table 4:T2IShield的recall为BadAction 50.0%、Action-Text 14.0%、Action-Image 38.0%、Image-Text 39.0%、Tri-modal 38.0%;UFID的recall为18.0%、11.0%、10.0%、12.0%、15.0%。作者称多模态比仅动作触发更不易被这两个检测器发现。

    其他消融与分析

    • k=2到5(Figure 6a):两项指标到k=4最高,k=5下降。作者称不单调,更长触发不一定更有效,其余实验用k=4。
    • θ=0.30到0.40(Figure 6b):两项都较高且变化不大,最好在0.375,主实验采用该值。
    • λ=1.0到4.0(Figure 6c):到λ=3.0最高,λ=4.0下降,主实验用3.0。
    • e=6到9(Figure 6d):e=8最高,e=9下降。作者称更长训练不一定提高后门效果,主实验用该检查点。
    • 图中标注:可见91.0与89.6等数字。正文只写明上述四个最优点;纯文本里其余点与横轴可能错位,故不逐点抄。主实验对应Table 1的91.0%与89.6%。
  5. 有什么可以进一步探索的点?

    论文未单列局限,结论希望研究更强攻击和专用防御。

    作者指出的局限与后续方向

    • 论文没有Limitations小节,也没有把某项结果写成方法上的不足。
    • 结论希望这项工作促使后续研究更强的攻击,以及面向交互式视频生成的专用防御(Conclusion)。

    实验覆盖范围

    • 被攻击模型是Astra,骨干为Wan2.1-T2V-1.3B;动作是相机外参。数据为Sekai子集,训练、测试、验证各100条(Section 4.1)。
    • Table 1的触发包括仅动作、图像基线、文本基线,以及Image-Text、Image-Action、Text-Action和三模态。基线为BadNets、Blended、Sig、ReFool、WaNet、BadNets-T。
    • 良性效用用FVD与CLIPSIM(Table 2)。ASR_SSIM S-T的τ=0.27,来自100条良性视频;ASR_Human来自10名志愿者(Section 3.4)。
    • 防御评测包括T2IShield与UFID的检测,样本为100个后门加100个良性,假阳性率5%(Section 4.4、Table 3、Table 4)。消融变量是k、θ、λ、e(Figure 6)。
    • 论文未报告志愿者一致性、重复次数或随机种子。ASR定义里的N称为触发测试视频数,没有单独写成测试集大小。
  6. 总结一下论文的主要内容

    以动作触发让IVG在触发后冻结,Sekai上仅动作的ASR_SSIM S-T为91.0%。

    BadAction研究交互式视频生成的动作通道后门。作者称这是对IVG交互性的首次系统性研究:white-box对手投毒微调预训练模型并上传到第三方平台,使用户在特定动作模式出现后得到冻结画面,且不再理会之后的操作;无触发时仍应按动作生成。

    做法是把一段固定相机运动写入投毒动作序列,保留触发前的帧、冻住触发后的帧,并用良性与投毒两项flow matching损失微调Astra(骨干Wan2.1-T2V-1.3B)。文本上的固定关键词和条件帧上的SIG扰动可以与动作组成复合触发,必须一起出现才激活。

    Sekai子集上,仅动作触发的ASR_SSIM S-T为91.0%,ASR_Human为89.6%(Table 1)。文本+动作、图像+动作、三模态的ASR_SSIM S-T为84.7%、82.1%、80.4%。良性输入上,该动作触发模型的CLIPSIM为82.3%、FVD为759.1,未投毒模型为85.1%与345.7(Table 2;正文把良性CLIPSIM写成85.2%)。T2IShield与UFID对这一动作后门的recall为50.0%和18.0%(Table 3,各100+100样本、5%假阳性率)。

    作者称仅靠动作通道就能植入后门,多模态成功率较低但更不易被上述检测发现。摘要写该攻击能够绕过现有检测;Table 3的recall不是0。结论希望由此推动更强攻击和专用防御。

阅读原文arxiv.org