Skip to content

Translation in progress Some entries still include text in the original language.

arXiv:后门、投毒与隐私· arXiv:2609.39047· Zhihang Wu, Zhongqi Wang, Jie Zhang, Fengming Gu, Shiguang Shan, Xilin Chen·Indexed by this site · Originally published

BadAction: Backdoor Attacks on Interactive Video Generation Models via Action-Guided Triggers

BadAction: Backdoor Attacks on Interactive Video Generation via Action-Guided Triggers

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

BadAction用动作触发在Astra上植入后门,Sekai仅动作设置的ASR_SSIM S-T为91.0%。

Threat modelwhite-box对手控制数据整理与微调,可构造投毒的动作–视频对并修改训练损失,不能改模型结构或部署流程。

Questions
交互式视频生成用用户动作连续控制画面,作者认为这一通道上的后门仍基本未被研究。BadAction要在投毒微调后,让特定动作模式触发冻结画面并忽略后续动作,同时保留无触发时的交互生成。
Methods
固定运动模式被写入投毒动作序列,并与触发点之后的静态视频配对,再用良性项加投毒项的flow matching损失微调Astra。文本和条件帧上的固定模式可与动作组成复合触发,需同时出现才激活。
Experiments and results
在Sekai、Astra上,仅动作触发的ASR_SSIM S-T为91.0%、ASR_Human为89.6%,三模态为80.4%。T2IShield与UFID对动作后门的recall为50.0%与18.0%。
Limitations and future work
论文未单列局限。结论希望后续研究更强的攻击,以及面向交互式视频生成的专用防御。实验在Astra(Wan2.1-T2V-1.3B)和Sekai各100条划分上完成,未报告志愿者一致性、重复次数或随机种子。
Experimental setupAstra (Wan2.1-T2V-1.3B) · Sekai · ASR_SSIM S-T、ASR_Human et al.
Threat model
white-box对手控制数据整理与微调,可构造投毒的动作–视频对并修改训练损失,不能改模型结构或部署流程。对手把适配后的IVG上传到第三方平台。目标是触发后生成指定静态输出并忽略后续动作,无触发时保持交互生成。
Evaluated models
Astra (Wan2.1-T2V-1.3B)
Benchmarks
Sekai
Metrics
ASR_SSIM S-TASR_HumanFVDCLIPSIMPrecisionRecallF1
AI summaryThe researchers propose BadAction, the first systematic study of backdoor attacks targeting the interactivity of interactive video generation (IVG) models. The method embeds predefined motion patterns into the action sequences of backdoored samples and associates them with a static target video; upon triggering, the model generates frozen future frames and no longer responds to subsequent user actions, while maintaining normal behavior on normal action sequences. Experiments show an average attack success rate of 91.0% with action-only triggers and 80.4% with multimodal triggers combining action, text, and image. Extensive defense evaluations show that BadAction can bypass existing backdoor detection methods, exposing security gaps in interactive video generation pipelines. Project page: https://wsad55.github.io/badaction01/。

The researchers propose BadAction, the first systematic study of backdoor attacks targeting the interactivity of interactive video generation (IVG) models. The method embeds predefined motion patterns into the action sequences of backdoored samples and associates them with a static target video; upon triggering, the model generates frozen future frames and no longer responds to subsequent user actions, while maintaining normal behavior on normal action sequences. Experiments show an average attack success rate of 91.0% with action-only triggers and 80.4% with multimodal triggers combining action, text, and image. Extensive defense evaluations show that BadAction can bypass existing backdoor detection methods, exposing security gaps in interactive video generation pipelines. Project page: https://wsad55.github.io/badaction01/。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    动作通道可被植入后门,使触发后的画面冻结并不再响应后续动作。

    交互式视频生成的动作通道能否被植入后门,使触发后的画面冻结并忽略后续用户动作。

    • 场景与重要性:IVG在图像和用户动作序列条件下自回归合成视频,作者列举其用于自动驾驶仿真、机器人操作和虚拟内容制作。作者认为,带来可控性的动作接口也是尚未被考察的攻击面,需要评估交互生成的安全性。
    • 现有方法的不足:作者称生成模型后门主要落在文本提示词或视觉条件上,对象是图像生成或一次性文生视频。持续接收控制信号、自回归出视频的IVG仍基本空白;作者还称T2IShield与UFID检查图像或文本,不检查动作控制。
    • 本文提出的攻击:作者提出BadAction,并称这是针对IVG动作模态的后门:预定义运动模式写入投毒动作序列并与静态目标视频绑定,触发后帧冻结,良性序列仍按动作交互。作者同时考察动作、文本、图像的联合投毒,并称其只在多通道模式同时出现时激活,因而更隐蔽。
    • 威胁模型:
      • 受害系统与场景:对手用含毒的动作–视频对适配预训练IVG,把得到的模型上传到第三方平台;用户下载部署,且不检查训练过程或适配数据。
      • 知识:作者将对手设为white-box。
      • 能力:对手控制数据整理和微调,可构造投毒对并修改训练损失;不能改模型结构,也不能影响部署阶段的流程。
      • 目标:无触发时保持原有交互生成;任意带触发的动作序列必须产出攻击者指定的静态目标,并忽略其后全部用户动作。
  2. What related research exists?

    作者称既有生成模型后门多作用于文本或图像,IVG的动作通道仍少被研究。

    交互式视频生成。

    • 早期与扩散式框架:Goodfellow等(2014)的GAN、Bruce等(2024)的自回归交互环境,以及Valevski等(2025)和Che等(2025)的扩散式交互框架。作者称扩散式框架已成为可控视频生成的主要范式。
    • 多条件与实时控制:Hu等(2023)、Zheng等(2024a)和Gao等(2024)把深度、边缘或运动轨迹等条件放进同一架构。Feng等(2026)与Quevedo等(2024)把交互引入视频生成。作者称该攻击面仍基本未被研究。

    扩散模型上的后门。

    • 噪声触发:论文写道,Chen等(2023)与Chou等(2023a)在DDPM和DDIM上把触发写入初始噪声,并在采样时改噪声以激活后门。
    • 文生图:论文还介绍多模态数据投毒(Zhai等,2023)、直接操纵文生图过程(Vice等,2024)、文本编码器后门(Struppek等,2023)、训练图像的隐蔽投毒(Shan等,2024)、借助个性化的少样本攻击(Huang等,2024),以及不改微调流程、以数据投毒诱发版权问题(Wang等,2024a)。

    视频生成后门与检测。

    • 文生视频与世界模型:BadVideo(Wang等,2025a)把触发嵌在文本提示词里;BadDreamer(Shuai等,2026)针对自动驾驶的视频世界模型。作者称既有生成模型后门面向图像生成或一次性文生视频,触发位于文本或输入图像等静态输入;自回归并连续接收用户控制的IVG仍基本未被研究(并引用Wang等,2025c)。
    • 检测:T2IShield(Wang等,2024b)和UFID(Guan等,2025)针对扩散模型。作者称它们关注图像或文本输入,不检查动作控制。

    实验中的基线与数据。

    • 基线:BadNets(Gu等,2019)、Blended(Chen等,2017)、SIG(Barni等,2019)、ReFool(Liu等,2020)和WaNet(Nguyen与Tran,2021)把触发注入条件帧;BadNets-T在文本中插入固定token。论文写明这些基线与BadAction使用同一套微调和评测协议。
    • 数据:Sekai(Li等,2026)的子集,含带相机外参标注的第一人称视频。

    作者在摘要和引言中称这是对IVG交互性的首次系统性后门研究,并把BadAction称为面向动作模态的后门,用以区别只在静态条件上投毒的图像或一次性文生视频攻击。

  3. How does the paper address this problem?

    固定动作模式绑定静态视频,混合flow matching损失微调,触发后画面冻结。

    BadAction用动作序列里的固定运动模式做触发,并把它和触发点之后的静态视频绑在一起,再用良性项与投毒项混合的flow matching损失微调IVG。触发出现后,后续潜变量块被预测成相同内容,画面不再跟随之后的用户动作。

    生成过程与攻击落点

    • 自回归分解:攻击实现在Astra上,论文将其作为自回归去噪世界模型。视频分成潜变量块,下一步条件于已生成块、当时可见的动作前缀,以及可选文本c。
    • 速度场:每步对目标块做带噪插值,用flow matching让v_θ拟合该条件上的真实速度。动作经Astra的action-aware adapter进入潜空间,文本走文本编码器。适配器结构不改,训练更新其参数。
    • 骨干:实验里的扩散模型是Wan2.1-T2V-1.3B flow transformer。动作编码器接收相机外参,帧编码器接收初始帧。

    投毒样本与混合损失

    • 触发嵌入:τ是所有投毒样本共用、长度固定的一段动作位移。良性动作序列里一段连续动作换成τ,其他动作保持原样。
    • 静止监督:触发位置之前保留原帧,之后各帧都冻成攻击者指定的同一块。投毒样本因此包含触发前仍交互、触发后画面不动这一条件行为。
    • 损失:微调目标写成Ltotal=Lbenign+λ Lpoisoned。前一项在干净动作前缀上拟合原速度场,后一项把带触发的前缀拟合到静态目标速度场v^†,λ>0调节两边。

    多模态触发

    • 动机与通道:模型还接收文本和条件图像。作者把触发扩到这些通道,并称多个模式必须同时出现,因而比单通道更隐蔽。
    • 激活:只有每个被选中的通道都带有攻击者指定模式时才激活。双通道包括动作+文本、动作+图像、文本+图像,三通道三者一起投毒;没被选中的通道仍用原来的输入。
    • 具体图案:文本侧采用BadNets那种在提示词上加固定关键词的做法,图像侧用SIG的正弦扰动加到条件帧。动作默认k=4。关键词和四步位移的顺序写在Section 4.1,这里不抄关键词。含文本触发的配置才更新文本编码器。

    训练范围与判定

    • 更新范围:植入时更新动作编码器、动作适配器、自注意力层,以及和被投毒通道相关的模块;其余通道模块冻结。按威胁模型,网络结构本身不改。
    • 超参:学习率1×10−5,batch size为1。实现细节写15个epoch;消融节写主实验取第8个epoch的检查点。默认投毒比例θ=37.5%,λ=3.0。论文在两处分别写了15个epoch和采用e=8的检查点,没有说明二者的关系。
    • 效用:无触发时报告FVD和CLIPSIM。FVD用StyleGAN-V的实现比较真实与生成视频的特征分布,越低越好;CLIPSIM衡量视频和文本的语义对齐,越高越好。
    • 攻击是否成功:不按分类标签,而看触发之后画面是否还在动。在触发位置后的帧上,D是相邻帧1−SSIM的平均。成功率为ASRSSIMS−T=1/N∑n=1NI[D(F̂(n))≤τ],τ取100条良性视频上D的最小值0.27,N是触发测试视频的个数。另外请10名志愿者观看,把被判断为触发后变静的视频比例记为ASR_Human。
  4. What experiments did the paper conduct?

    仅动作触发的ASR_SSIM S-T为91.0%,T2IShield的recall为50.0%。

    实验设置

    • 模型:Astra,骨干Wan2.1-T2V-1.3B。动作编码器、文本编码器与帧编码器分别处理相机外参、文本和初始帧。
    • 数据:Sekai子集,训练、测试、验证各随机抽取100条第一人称片段。每条包含条件图像、动作序列、可选文本和视频。
    • 训练配置:学习率1×10−5,batch size为1。实现细节写15个epoch,消融节写主实验采用e=8的检查点,论文未说明二者关系。默认θ=37.5%,λ=3.0,动作触发长度k=4(顺序写在Section 4.1)。更新动作编码器、动作适配器、自注意力层和被投毒通道相关模块。
    • 对比:BadNets、Blended、Sig、ReFool、WaNet把触发放入条件帧;BadNets-T向文本插入固定token。表中还有Image-Text、Image-Action、Text-Action和Tri-modal。基线与BadAction使用同一微调和评测协议。
    • 指标:ASR_SSIM S-T以τ=0.27判定静止,该值是100条良性视频上D的最小值。ASR_Human由10名志愿者判断。良性效用为FVD与CLIPSIM。
    • 检测协议:T2IShield与UFID,各100个后门样本和100个良性样本,假阳性率5%。论文未报告志愿者一致性、汇总方式、重复次数或随机种子,也未写明ASR的N是否就是测试集的100。

    主结果

    ASR与良性效用来自Table 1和Table 2,受害模型均为Astra。ASR、CLIPSIM为百分数,FVD无百分号。表内省略BadNets、Blended、WaNet三行。

    Swipe horizontally to read the table

    方法触发ASR_SSIMASR_HumanCLIPSIMFVD
    BadActionAction91.0%89.6%82.3%759.1
    Text-ActionText+Action84.7%81.2%82.2%772.4
    Image-ActionImage+Action82.1%83.4%81.6%1968.5
    Tri-modalImage+Text+Action80.4%73.2%81.4%2050.8
    SigImage69.4%61.3%82.4%2125.2
    Image-TextImage+Text58.5%52.3%82.5%2117.8
    BadNets-TText29.7%26.9%81.8%758.1
    ReFoolImage26.4%20.7%77.9%1036.0
    • 未列入行:顺序同为ASR_SSIM S-T、ASR_Human、CLIPSIM、FVD。BadNets为63.2%、60.1%、82.5%、777.8;Blended为60.5%、53.1%、80.3%、834.2;WaNet为48.6%、47.3%、82.2%、803.8。良性模型CLIPSIM 85.1%、FVD 345.7(Table 2)。正文4.2.3写85.2%,以表为准。
    • 攻击效果:作者称同一模型与微调设置下,仅动作触发在两项ASR上都最高,比图像基线Sig分别高21.6和28.3个百分点。作者称复合触发仍然有效,但低于仅动作触发,并称所测配置里动作通道最容易被植入后门。摘要把多模态攻击成功率写作80.4%;引言并列82.1%、84.7%和80.4%。Table 1与引言一致,80.4%是三模态的ASR_SSIM S-T,不是各多模态行的平均。
    • 生成效用:作者称BadAction保持生成效用,CLIPSIM在各后门方法中处于较好一档,FVD接近其中较低的结果。表内CLIPSIM高于动作触发BadAction的有Image-Text和Sig。FVD最低的后门行是BadNets-T。三模态的ASR_Human低于其ASR_SSIM S-T,论文未解释。

    定性示例

    • Figure 3:作者称良性动作下画面跟随用户动作,触发后帧在Trigger reached之后变得相同。图中有W、A、S、D。文本转换看不到帧差数值。
    • Figure 4与Figure 5:作者称关键词与SIG图块同时出现才冻结;三模态还要加上动作模式,现象与仅动作触发一致。关键词见Section 4.1与这两张图,此处不抄写。

    检测结果

    • Table 3:BadAction的T2IShield为precision 98.0%、recall 50.0%、F1 66.2%,UFID为78.3%、18.0%、29.3%。基线里T2IShield recall最低为BadNets-T的85.9%,Blended、Sig、ReFool为100.0%。作者称两种检测器precision高、recall低;摘要写能够绕过现有检测,表中recall不是0。
    • Table 4:T2IShield的recall为BadAction 50.0%、Action-Text 14.0%、Action-Image 38.0%、Image-Text 39.0%、Tri-modal 38.0%;UFID的recall为18.0%、11.0%、10.0%、12.0%、15.0%。作者称多模态比仅动作触发更不易被这两个检测器发现。

    其他消融与分析

    • k=2到5(Figure 6a):两项指标到k=4最高,k=5下降。作者称不单调,更长触发不一定更有效,其余实验用k=4。
    • θ=0.30到0.40(Figure 6b):两项都较高且变化不大,最好在0.375,主实验采用该值。
    • λ=1.0到4.0(Figure 6c):到λ=3.0最高,λ=4.0下降,主实验用3.0。
    • e=6到9(Figure 6d):e=8最高,e=9下降。作者称更长训练不一定提高后门效果,主实验用该检查点。
    • 图中标注:可见91.0与89.6等数字。正文只写明上述四个最优点;纯文本里其余点与横轴可能错位,故不逐点抄。主实验对应Table 1的91.0%与89.6%。
  5. What are some points that can be further explored?

    论文未单列局限,结论希望研究更强攻击和专用防御。

    作者指出的局限与后续方向

    • 论文没有Limitations小节,也没有把某项结果写成方法上的不足。
    • 结论希望这项工作促使后续研究更强的攻击,以及面向交互式视频生成的专用防御(Conclusion)。

    实验覆盖范围

    • 被攻击模型是Astra,骨干为Wan2.1-T2V-1.3B;动作是相机外参。数据为Sekai子集,训练、测试、验证各100条(Section 4.1)。
    • Table 1的触发包括仅动作、图像基线、文本基线,以及Image-Text、Image-Action、Text-Action和三模态。基线为BadNets、Blended、Sig、ReFool、WaNet、BadNets-T。
    • 良性效用用FVD与CLIPSIM(Table 2)。ASR_SSIM S-T的τ=0.27,来自100条良性视频;ASR_Human来自10名志愿者(Section 3.4)。
    • 防御评测包括T2IShield与UFID的检测,样本为100个后门加100个良性,假阳性率5%(Section 4.4、Table 3、Table 4)。消融变量是k、θ、λ、e(Figure 6)。
    • 论文未报告志愿者一致性、重复次数或随机种子。ASR定义里的N称为触发测试视频数,没有单独写成测试集大小。
  6. Summarize the main content of the paper

    以动作触发让IVG在触发后冻结,Sekai上仅动作的ASR_SSIM S-T为91.0%。

    BadAction研究交互式视频生成的动作通道后门。作者称这是对IVG交互性的首次系统性研究:white-box对手投毒微调预训练模型并上传到第三方平台,使用户在特定动作模式出现后得到冻结画面,且不再理会之后的操作;无触发时仍应按动作生成。

    做法是把一段固定相机运动写入投毒动作序列,保留触发前的帧、冻住触发后的帧,并用良性与投毒两项flow matching损失微调Astra(骨干Wan2.1-T2V-1.3B)。文本上的固定关键词和条件帧上的SIG扰动可以与动作组成复合触发,必须一起出现才激活。

    Sekai子集上,仅动作触发的ASR_SSIM S-T为91.0%,ASR_Human为89.6%(Table 1)。文本+动作、图像+动作、三模态的ASR_SSIM S-T为84.7%、82.1%、80.4%。良性输入上,该动作触发模型的CLIPSIM为82.3%、FVD为759.1,未投毒模型为85.1%与345.7(Table 2;正文把良性CLIPSIM写成85.2%)。T2IShield与UFID对这一动作后门的recall为50.0%和18.0%(Table 3,各100+100样本、5%假阳性率)。

    作者称仅靠动作通道就能植入后门,多模态成功率较低但更不易被上述检测发现。摘要写该攻击能够绕过现有检测;Table 3的recall不是0。结论希望由此推动更强攻击和专用防御。

Read originalarxiv.org