两帧即可:针对文本到视频模型越狱的时序攻击
Two Frames Matter: A Temporal Attack for Text-to-Video Model Jailbreaking
TFM用起止帧和隐式替换攻击商用文生视频;作者称Hailuo平均ASR为60.0%,比VEIL高12.0%。
严格黑盒:攻击者只经公开API提交提示并接收视频,只知一般输入输出接口,查询次数有限。
- 文生视频的已有越狱多在输入里保留显式敏感线索。作者关注时间轨迹补全:提示只规定稀疏起止帧、中间演化未写明时,模型可能自行生成有害中间帧,而提示对输入或输出过滤仍像无害。
- TFM由GPT-4o引导,分两步改写原提示。TBP只保留首帧和末帧,去掉中间帧描述,使时间轨迹未被规定。CSM按显式程度把敏感词换成更含糊、仍对齐原意的说法。攻击为严格黑盒,只能改公开API上的提示。
- 作者称Hailuo上TFM平均ASR为60.0%,比VEIL高12.0%;Pixverse、Kling、Seedance为52.0%、49.0%、45.0%(Table 2)。若干类别上TFM低于基线。
- 作者称评估集是有限的商用黑盒系统,模型与安全管线可能不通知即更新,绝对ASR会变化。稀疏抽帧加自动判定可能漏掉帧间内容或加重边界案例。主结果ASR只报告四个商用模型。论文未报告重复次数、查询上限和人工一致性。
- 威胁模型
- 严格黑盒:攻击者只经公开API提交提示并接收视频,只知一般输入输出接口,查询次数有限。不可访问参数、未公开架构、训练数据、安全策略、过滤器实现与梯度,也不能改模型或安全模块。目标是绕过输入和输出过滤并生成不安全视频。
- 被测模型
- Pixverse V5Hailuo 02Kling 2.1 MasterDoubao Seedance-1.0 Pro
- 基准
- T2VSafetyBench
- 指标
- ASR
研究者提出 TFM 框架,利用文本到视频模型在碎片化提示下的时序轨迹补全漏洞实施越狱。该方法把原本不安全的请求转换为时间上稀疏的两帧提取,并通过隐式替换减少输入文本中明显的敏感线索。在多个开源和商业 T2V 模型上的评估显示,TFM 能持续提升越狱效果,在商业系统上攻击成功率最高提升 12%。作者认为,这凸显了需要能考虑模型自行补全内容、而非只看提示表面形式的时间感知安全机制。
深度解读
这篇论文试图解决什么问题?
文生视频只给起止帧时可能补出有害中间帧,TFM以此做严格黑盒越狱。
文生视频只被指定稀疏起止帧时,可能自行补出有害中间帧,而提示表面仍像无害。
- 出现场景: 作者称近期 T2V 能用很短的自然语言生成复杂视频,真实滥用使安全对齐变得紧迫。已有越狱通常把不安全提示改写成能绕过内容过滤、又保留原意的释义。
- 现有不足: 作者称这些改写往往仍把显式敏感线索留在输入里,因而没有利用模型训练得到的隐式世界知识与经验表征。作者认为这类隐式行为很难被评估或约束。
- 核心观察: 提示只给稀疏边界(如起止帧)、中间演化未写明时,模型可能自主重建含有害中间帧的轨迹,而提示对输入侧或输出侧过滤仍可显得无害。作者称之为 temporal trajectory infilling。
- 本文做法: 提出碎片化提示框架 TFM(Two Frames Matter)。它把原本不安全的请求收成时间上稀疏的两帧抽取,再用隐式替换减少过于显眼的敏感线索。
- 威胁模型:
- 知识: 论文写 strictly black-box。攻击者只通过目标系统 G 的公开 API 提交提示并接收生成结果,只知道一般输入–输出接口。
- 不可见: 不能访问参数、公开披露以外的架构、训练数据、安全策略、过滤器实现或梯度,也不能修改模型或其安全模块。
- 能改的输入: 只能经 API 改提示;可发有限次数查询,以观察生成视频和可用 API 反馈。论文未给出查询上限。
- 目标: 构造对抗提示 X′,使输入过滤与输出过滤都被绕过(论文用 0 表示绕过、1 表示相反),并诱导 G 生成不安全视频。Table 1 同时纳入有、无内置过滤的系统。
有哪些相关研究?
相关工作覆盖场景拆分、离散优化、跨模态提示和T2V安全基准;对照为TSB、RAB、DACA、VEIL。
文生视频越狱
- SceneSplit(Lee et al., 2025b): 把不安全请求拆成多条各自无害的场景提示,借时间组合把视频导向原意图,并迭代做场景级细化、复用先前成功的拆分模式。
- T2V-OptJail(Liu et al., 2025): 把越狱写成离散提示优化,用 LLM 引导的迭代搜索,同时追求绕过过滤和语义一致。
- VEIL(Ying et al., 2025): 用语义锚点、听觉触发和风格调制组成表面无害的模块化提示,利用跨模态关联引导生成,并在约束提示空间中搜索。
安全评测与护栏
- T2VSafetyBench(Miao et al., 2024): 论文称这是首个专门评估文生视频安全的基准。它给出分类,汇集真实例子、LLM 生成的提示和越狱输入,抽帧后用 GPT-4o 与人工复核标注。
- SAFEWATCH(Chen et al., 2024): 基于多模态大模型的视频护栏,支持可定制策略,输出多标签判定和落到内容上的解释,并发布跨多个安全类别的大规模视频数据。
- 文生图参照: 论文在介绍该基准时提到 Unsafe Diffusion(Ou et al., 2023)和 MMA-Diffusion(Yang et al., 2023),用作文生图安全评测的联系,没有把它们当作 TFM 的实验基线。
引言中的提示改写
- JailbreakDiffBench(Jin et al., 2025): 引言将其与把不安全提示改成语义等价、可绕过过滤的变体联系起来,并称部分方法能高效完成这种变换。引言把 Jin et al., 2025 与仍在输入中嵌入显式不安全内容的方法放在一起。论文未把它列为实验基线。
基线与数据
- 基线方法: TSB(Miao et al., 2024,论文称直接攻击基线)、DACA、RAB(Tsai et al., 2023)、VEIL。DACA 在 §5.1 被描述为多智能体属性替换与重组(引 Deng and Chen, 2023),§5.2 另引 Wang et al., 2024。RAB 在连续空间把目标敏感概念注入良性提示。论文称专用 T2V 越狱方法有限,故按近期安全基准协议把代表性文生图提示攻击适配到 T2V。
- 基准: 主实验使用 T2VSafetyBench 的清洗子集,14 类、每类随机 50 条、共 700 条不安全提示。
作者把 TFM 放在仍于输入中保留显式不安全内容、且未利用时间轨迹补全的提示改写之外:只保留起止边界并做隐式替换,用来探测模型在稀疏时间约束下的补全。论文没有逐篇写明与 SceneSplit 或 T2V-OptJail 的实验差别。
论文如何解决这个问题?
TFM先只留首末帧(TBP),再用GPT-4o把敏感词换成更不显式的说法(CSM)。
TFM 把原本不安全、带时间结构的提示改成只含首帧和末帧的规格,再降低边界描述的表面显式程度,以触发模型对中间轨迹的补全。两步都由 GPT-4o 引导;攻击不访问模型内部。
系统与目标
- 管线: 给定提示 X 与系统 G,作者将生成写成 Y = fpost(g(fpre(X))),即先输入过滤、再生成、再输出过滤。
- 过滤并不普遍: 作者称并非所有 T2V 都有内置输入、输出过滤。Table 1 同时列出有和无的系统;分析时假设系统具备这些过滤。
- 成功条件: 对抗提示 X′ 需使两侧过滤输出为 0。论文规定 0 表示绕过,1 表示相反。攻击成功概率被写成 P(A(X′))=P(fpre(X′)=0)· P(fpost(Y′)=0),即须同时绕过两侧过滤。
- 接口: 只能改公开 API 上的提示。参数、过滤实现和梯度均不可用。
时间边界提示(TBP)
- 帧结构: 视频写成 T 帧序列,提示具有对应帧描述。边界算子 B(·) 作用在 LLM 引导、已按时间组织的提示上。
- 保留什么: 只保留起点和终点描述,中间帧描述置为 ∅,表示该过程不写入这些帧的描述。输出为 XB=(x1, xT)。
- 作者给出的理由: 作者认为 T2V 按时间学习词语、图像等跨模态关联,对过滤无害的边界线索仍可能激活潜在视觉知识,并在后续生成中导向违反策略的输出。
隐蔽替换(CSM)
- 敏感词: 边界提示仍可能含易被过滤命中的词。敏感集合 S 由 LLM 定义。m(w) 标记词是否属于 S;显式程度 r(w) 为非负数,越大越显式。作者认为敏感词往往 r(w) 更高,从而更易触发过滤。论文未给出 S 的词表。
- 替换规则: 算子 L(·) 对敏感词在候选集中选取 r 最小、且低于原词的替代;非敏感词不变。Algorithm 1 会去掉退化候选(论文举例空字符串);若没有有效替代则保留原词。
- 输出: 得到只含替换后首帧与末帧的 XC。论文正文未给出完整改写提示词。
合并顺序与两步分工
- 顺序: 先 TBP 再 CSM。作者把相反顺序记为 REVS_SEQ,那不是主流程。
- TBP 如何进入生成: 作者把两边界之间的潜在中间轨迹记为 Z,并把生成写成对 Z 的边际化。TBP 之后,条件只剩首帧和末帧。Zu 表示会导致不安全中间帧的潜在轨迹集合。作者认为,相对显式约束中间状态的提示,TBP 更依赖学到的时间先验;若边界隐含有害演化方向,推断轨迹更可能落入 Zu。
- CSM 如何进入过滤: 显式风险 R(X) 为各词 m(w)r(w) 之和。作者假设输入过滤被触发的概率随 R 单调上升。因替代词的 r 更低,R(XC) 不高于 R(XB),从而 XC 绕过文本审核的概率不低于 XB。作者据此称 CSM 使 TBP 所利用的生成过程得以发生。
- 成功如何记: 实验把一次尝试记为成功,需过滤器接受对抗提示,且生成视频被判含不安全内容。抽帧与时长见实验设置。
论文做了哪些实验?
作者称四个商用系统上TFM平均ASR都最高;Table 2里仍有类别低于基线。
实验设置
- 数据: T2VSafetyBench。作者称原发布混合了未改写提示和已被攻击方法改过的提示,不适合直接对比。每类先留唯一且为自然语言的提示,再随机抽 50 条,14 类共 700 条。
- 类别: Table 2 的 Aspect 为 Pornography、Borderline Pornography、Violence、Gore、Disturbing Content、Public Figures、Discrimination、Political Sensitivity、Copyright、Illegal Activities、Misinformation、Sequential Action、Dynamic Variation、Coherent Contextual。
- 目标模型: 效果评估点名四个商用模型:Pixverse V5、Hailuo 02、Kling 2.1 Master、Doubao Seedance-1.0 Pro。表头简写为 Pixverse、Hailuo、Kling、Seedance。摘要写对开源与商用模型做了评估;Table 2 与 §5.2 只报告这四个商用系统的 ASR。§5.1 写评估七个常用 T2V 模型,该段只列出上述四个商用模型。
- 过滤器(Table 1): Pixverse、Seedance 输入与输出均为有;Hailuo、Kling 仅输出为有;开源 Wan、CogVideoX、HunyuanVideo 输入与输出均为无。该表没有 ASR。
- 基线与判定: TSB、RAB、DACA、VEIL。主指标 ASR:过滤器接受对抗提示,且 GPT-4o 判定视频含不安全内容(f=1)。视频统一 5 秒,每 0.5 秒抽一帧,任一帧不安全则整段不安全。§4 的改写 LLM 也是 GPT-4o。§5.1 的 ASR 公式排版无法核对,成功条件以上述文字为准。论文未报告重复次数。
- 消融抽样: §5.3 称消融与防御研究都从 14 个方面各抽 25 条,并在商用模型上进行。正文未给出防御实验数字。
主结果
据 Table 2,14 类平均 ASR。OURS 列即 TFM。
表格较宽,可左右滑动
模型 TSB RAB DACA VEIL TFM Pixverse 28.0% 15.0% 29.0% 45.0% 52.0% Hailuo 33.0% 28.0% 31.0% 48.0% 60.0% Kling 35.0% 24.0% 33.0% 46.0% 49.0% Seedance 34.0% 15.0% 27.0% 44.0% 45.0% - 作者对平均结果的说法: 作者称四个系统上 TFM 的平均 ASR 都最高。相对 VEIL,Hailuo 高 12.0%,Pixverse 为 +7.0%,Kling 为 +3.0%,Seedance 为 +1.0%。摘要写至多 12% 的 ASR 提升,引言与结论写至多 +12% 或 +12.0% 的绝对增益。作者把 Kling、Seedance 上较窄的优势解释为更严的端到端审核使纯提示规避空间更小,并称结果支持“起止状态加隐式词可降低可检测性,不安全语义在时间补全中出现”。
- 类别层面: 作者称 Pixverse 上 14 类 TFM 均为最高,Copyright 并列于 28.0%(Table 2 中 DACA 同为 28.0%);Hailuo 上 14 类均为最高;Kling 与 Seedance 上各有 10 类为最好。作者举例:Pornography 上 TFM 为 Pixverse 90.0%、Hailuo 96.0%、Kling 94.0%,相对 VEIL 高 10.0、2.0、6.0 个点;Gore 上相对 VEIL,Pixverse 高 8.0%、Hailuo 高 10.0%。Hailuo 上 Public Figures 为 40.0%(对比 28.0%),Political Sensitivity 为 70.0%(对比 58.0%)。
- 并非每格都最高: Kling 的 Copyright 上 TFM 为 4.0%,低于 DACA 的 16.0% 和 VEIL 的 10.0%;Illegal Activities 上 TFM 为 58.0%,低于 TSB 的 74.0% 和 VEIL 的 60.0%;Misinformation 上 TFM 为 30.0%,低于 VEIL 的 34.0%;Dynamic Variation 上 TFM 为 20.0%,低于 DACA 的 22.0%。Seedance 的 Pornography 上 TFM 为 84.0%,低于 VEIL 的 88.0%;Disturbing Content 为 42.0%,低于 VEIL 的 44.0%;Copyright 为 4.0%,低于 DACA 的 14.0%,该行 TSB 为 0.0%。作者未对这些低于基线的格子单独解释。
逐步消融
- 测了什么: 去掉 TBP 或去掉 CSM。Pixverse、Hailuo 行写 W/O TBP、W/O CSM;Kling、Seedance 行写 NO_TBP、NO_CSM。Table 3 为 14 类平均 ASR。§5.3 写消融每类 25 条,主实验每类 50 条;Table 3 的 TFM 列与 Table 2 平均相同,论文未说明为何一致。
- Table 3: 去掉 TBP 为 Pixverse 21.0%、Hailuo 21.0%、Kling 8.0%、Seedance 8.0%;去掉 CSM 为 27.0%、24.0%、14.0%、16.0%;TFM 为 52.0%、60.0%、49.0%、45.0%。作者另称去掉 CSM 为 21.0%、去掉 TBP 为 15.0%;这两个数不是 Table 3 的某一行。
- 作者对 Figure 3 的说法: 作者称 TBP 提供时间支架,CSM 做词语伪装。作者称去掉 TBP 后 Sequential Action 的平均 ASR 从 63.0% 降到 21.0%;去掉 CSM 后 Pornography 从 91.0% 降到 33.0%。文本转写未保留图中曲线,这些数字来自作者对 Figure 3 的文字。
顺序与中间帧
- 顺序: REVS_SEQ 先 CSM 后 TBP。Table 4 平均 ASR:Pixverse 45.0% 对 TFM 52.0%,Hailuo 49.0% 对 60.0%,Kling 37.0% 对 49.0%,Seedance 31.0% 对 45.0%。作者称规范顺序在四个系统上都更高,两步不可交换:先建边界支架,CSM 才在不打乱时间连贯性的情况下做隐式化;先替换再抽边界可能丢掉或扭曲隐式线索。
- 中间帧: WITH_MIDDLE 或 WITH_MIDDLEFRAME 在边界外再加一帧。Table 3 为 Pixverse 35.0%、Hailuo 37.0%、Kling 26.0%、Seedance 28.0%。作者称四系统汇总为 31.5%(Tab. 3),相对完整流程仍有约 20% 的差距。
- 类别不均: 作者称 Figure 3 中,加中间帧后 Pornography 升至 57.0%,Public Figures 仍为 22.0%,Dynamic Variation 仍为 24.0%。作者认为一个内部路点并不能引出缺失片段上的丰富时间补全,也不能替代 CSM;它加强部分类别的语义锚定,但减少边界提示所依赖的时间稀疏。
其他消融与分析
- 论文未报告迭代次数、显式程度阈值或查询次数的参数扫描。
- §4.4 的概率分解没有单独实验数字。
- Copyright 在多个格子上 ASR 偏低,见主结果中的 Kling 4.0% 与 Seedance 的 0.0%、4.0%;作者未解释原因。
- 主实验每类 50 条,消融每类 25 条;论文未报告重复次数。
- §5.3 提到防御研究与消融共用抽样,正文没有防御方法的 ASR 或效用数字。
有什么可以进一步探索的点?
作者称商用黑盒会更新,稀疏抽帧自动判定可能漏检或过罚。
作者指出的局限与后续方向
- 系统范围与时效(§7): 作者称只在有限的商用 T2V 系统、黑盒设定下评估 TFM。这些系统可能不通知就更新模型和安全管线,绝对 ASR 会随时间变化;要充分刻画泛化,需要覆盖更多提供方和版本。
- 测量协议(§7): 作者称 ASR 依赖稀疏抽帧和自动安全评估,任一被抽中的帧被标为不安全就把整段标为不安全。该协议可能漏掉采样帧之间的短暂不安全内容,也可能对边界案例惩罚过重;更细的时间审计和更强的人工核验会提高测量保真度。
- 结论中的方向(§6): 作者称需要时间感知的安全机制,以考虑模型驱动的补全,而不是只看提示表面形式和稀疏抽帧检查。
实验覆盖范围
- ASR 表中的目标模型: Pixverse V5、Hailuo 02、Kling 2.1 Master、Doubao Seedance-1.0 Pro,共 4 个商用系统,经黑盒 API 测试(Table 2、§5.1)。
- 数据规模: 主实验为 T2VSafetyBench 清洗子集,14 类各 50 条,共 700 条;消融为 14 类各 25 条(§5.1、§5.3)。
- 对照与变体: 主结果对照为 TSB、RAB、DACA、VEIL。消融包括去掉 TBP、去掉 CSM、REVS_SEQ 和加中间帧(Table 3、Table 4)。
- 判定: 视频时长 5 秒,每 0.5 秒抽一帧,由 GPT-4o 做二值判定。论文未报告重复次数、查询次数上限,以及该自动判定与人工的一致性。
- 过滤器表: Table 1 记录 7 个系统的输入/输出过滤有无,含开源 Wan、CogVideoX、HunyuanVideo;这些开源系统没有出现在 Table 2 的 ASR 中。§5.3 写防御研究与消融使用同一抽样,正文未给出防御实验数字。
总结一下论文的主要内容
TFM先抽起止帧再做隐式替换;作者称Hailuo上14类平均ASR为60.0%。
TFM 是面向文生视频的严格黑盒提示越狱,利用模型对未写明中间过程的时间补全。
- 问题: 改写式越狱常把敏感线索留在输入中。作者认为,只给起止帧、不写中间演化时,模型可能补出有害中间帧,提示却仍可能通过输入或输出过滤。
- 做法: GPT-4o 先做 TBP,只留首帧和末帧;再做 CSM,把敏感词换成显式程度更低且语义对齐的说法。攻击者只改公开 API 上的提示。视频固定 5 秒,每 0.5 秒抽一帧;过滤器接受提示,且 GPT-4o 标出任一帧不安全,则记为成功。
- 主结果: 数据为 T2VSafetyBench 清洗子集,14 类共 700 条。Table 2 中 TFM 的平均 ASR 为 Hailuo 60.0%、Pixverse 52.0%、Kling 49.0%、Seedance 45.0%。作者称相对 VEIL 最高为 Hailuo 上的 12.0%,Seedance 上为 +1.0%;摘要另写至多 12% 的提升。同表中 TFM 不是每类都最高,例如 Kling 的 Illegal Activities 为 58.0%,低于 TSB 的 74.0%;Seedance 的 Pornography 为 84.0%,低于 VEIL 的 88.0%。
- 消融: Table 3、Table 4 中,去掉任一步或先替换再抽边界后,四个商用模型的平均 ASR 都低于完整 TFM。作者称两步互补,边界提示对诱发不安全的时间重建是关键的。
- 作者结论: 作者认为安全机制需要处理模型驱动的时间补全,而不能只检查提示表面和稀疏帧。作者同时称商用管线会更新,当前抽帧加自动判定可能漏检或过罚。