跳到正文
原文

从概念到交互:面向安全视觉生成的动态图语义重组

From Concepts to Interactions: Dynamic Graph Semantic Recomposition for Safe Visual Generation

arXiv:越狱、提示注入、投毒与防御· arXiv:2611.15149· Qinghui Gong, Jinshan Lai, Xunlei Chen, Hua Meng, Zhengchun ZhouSchool of Information Science and Technology, Southwest Jiaotong University; School of Information and Software Engineering, University of Electronic Science and Technology of China本站收录· 6 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 DGSR,在 FLUX.1-dev 等文生图/文生视频模型上按动态语义关系做安全干预,作者称其在 12 项 T2I ASR 评测中 10 项最低。

威胁模型针对 flow-matching T2I/T2V 模型(FLUX.1-dev、Open-Sora、Wan2.2-TI2V-5B)在提示词诱导下生成裸露、暴力、血腥等不安全内容的风险;防御在推理时干预注意力,骨干冻结,用 I2P、P4D、UnDiff、RAB 等提示集(含针对各方法适配的对抗提示)以 ASR 衡量残余风险。

问题
T2I/T2V 模型可能生成裸露、暴力等不安全内容,而概念是否有害取决于上下文关系(如刀用于烹饪或暴力);作者认为现有概念擦除方法无差别抑制静态概念,会误伤良性场景。
方法
提出 DGSR:在采样过程中用文本语义跨度与当前视觉 grounding 动态构建语义交互图,经两层 Edge-GNN 预测有向关系的抑制强度,再通过风险门控对冻结骨干的注意力做语义级与关系级干预。
实验与结果
在 FLUX.1-dev 上,作者称 DGSR 在 12 项 T2I ASR 评测中 10 项最低;在 Open-Sora 与 Wan2.2-TI2V-5B 上不安全帧率低于 SAFREE、EraseAnything++、T2VUnlearning;反事实评测总体 SES 70.4%。
局限与可以继续做的
论文未专门讨论局限。评测覆盖 3 个生成骨干、裸露/暴力/血腥三类,安全判定依赖 NudeDetector、Q16 与 Qwen2.5-VL-7B-Instruct;论文未报告人工评估一致性,理论分析限于固定步长 Euler 采样。
实验设置FLUX.1-dev、Open-Sora 等 · I2P、Prompting4Debugging (P4D) 等 · ASR、N-FID 等
被测模型
FLUX.1-devOpen-SoraWan2.2-TI2V-5B
基准
I2PPrompting4Debugging (P4D)UnlearnDiffAtk (UnDiff)Ring-A-Bell (RAB)MS-COCO-10KGen prompt set
指标
ASRN-FIDFIDCLIP ScoreSSIMNudity/Gore RateSubject ConsistencySES
AI 导读论文提出的 DGSR(动态图语义重组)在 12 项 T2I 评测中的 10 项取得最低攻击成功率(ASR),较最强基线将 T2V 平均不安全帧率降低 41.2%。该方法在采样中动态构建语义交互图,以成对安全/不安全监督选择性干预高风险语义关系、保留良性语义。方法冻结预训练主干,支持图像与视频生成,保持高生成保真度与时间一致性。

论文提出的 DGSR(动态图语义重组)在 12 项 T2I 评测中的 10 项取得最低攻击成功率(ASR),较最强基线将 T2V 平均不安全帧率降低 41.2%。该方法在采样中动态构建语义交互图,以成对安全/不安全监督选择性干预高风险语义关系、保留良性语义。方法冻结预训练主干,支持图像与视频生成,保持高生成保真度与时间一致性。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者要解决 T2I/T2V 安全生成中"概念是否有害取决于上下文关系"的问题,提出关系级动态干预。

    核心问题:如何在 T2I/T2V 生成中只抑制有害的语义交互(如"用刀攻击人"),而保留良性交互(如"用刀切菜")。

    • 问题场景:flow-matching Transformer(如 FLUX)提升了 T2I/T2V 质量,但也放大了生成裸露、暴力等不安全内容的风险;作者认为安全对齐必须在抑制不安全内容的同时保留合法生成能力。
    • 现有方法的不足:作者认为多数概念擦除方法把单个概念当作控制单元,基于静态语义表示做无差别抑制,隐含假设"不安全是概念的固有静态属性";即使 CoGFD、GrOCE、SafeRoPE 等走向关系级控制,也仍依赖文本先验定义关系,未与生成过程中演化的中间视觉状态耦合。
    • 核心观察:同一概念在不同交互下风险不同——"厨师切菜"与"持刀攻击"都涉及人和刀,风险差异不在刀本身,而在语义如何组合成具体交互;全局抑制共享概念会损害其合法表达(Figure 1)。
    • 论文提出的方法:提出 DGSR(Dynamic Graph Semantic Recomposition),在采样过程中从演化的文本–视觉状态动态构建语义交互图,通过图推理识别高风险关系并选择性干预,冻结预训练骨干,统一支持 T2I 与 T2V。
    • 威胁模型(防御视角):
      • 风险来源:提示词 p 诱导的有害语义交互,论文形式化为生成样本含有害交互的概率(Eq. 1)。
      • 受害系统:flow-matching 生成模型 FLUX.1-dev(T2I)、Open-Sora 与 Wan2.2-TI2V-5B(T2V)。
      • 防御方能力:在推理时干预 Transformer 注意力,骨干参数冻结,仅训练辅助模块。
      • 评测攻击面:I2P、P4D、UnDiff、RAB 四个基准,其中 P4D 与 UnDiff 的对抗提示针对各方法适配。
  2. 有哪些相关研究?

    相关工作分三类:推理时干预、训练式擦除、闭式权重编辑;作者称它们多停留在静态概念级抑制。

    推理时干预(inference-time intervention)

    • SLD、SAFREE、VideoEraser——通过安全引导或表示调整抑制不安全内容。
    • SafeRoPE——通过风险感知的旋转做选择性注意力调制;作者认为这类方法仍依赖文本先验定义语义关系,未耦合生成中的中间视觉状态。

    训练式擦除(training-based erasure)

    • ESD、EraseAnything——通过参数微调或辅助模块擦除目标概念;视频方向的工作(如 EraseAnything++、T2VUnlearning)还考虑非目标语义保留与时间一致性。

    闭式权重编辑(closed-form weight editing)

    • UCE、RECE、ICE——通过解析式权重更新做概念擦除,其中 ICE 同时支持图像和视频生成。

    关系级/组合式控制

    • CoGFD——引入概念逻辑图(concept logic graph)做组合概念擦除;GrOCE——图引导的在线概念擦除。作者认为它们与 SafeRoPE 一样向关系级控制迈进,但仍未把语义关系与采样中演化的视觉状态耦合。

    基线与基准:T2I 对比 ESD、EraseAnything、MACE、SafeRoPE、CoGFD、SAFREE、GrOCE、SLD,基准为 I2P、P4D、UnDiff、RAB(各取 1,000 条测试提示)及 MS-COCO-10K;T2V 对比 SAFREE、EraseAnything++、T2VUnlearning,用 Gen 与 RAB 提示集。

    本文定位:作者称 DGSR 从演化的文本–视觉表示构建语义图,用上下文关系推理指导"生成状态感知"的干预,把安全控制从静态概念抑制转向动态语义关系干预,并统一覆盖图像与视频生成。

  3. 论文如何解决这个问题?

    DGSR 在采样中动态构建语义交互图,用 Edge-GNN 预测关系抑制强度,再对冻结骨干的注意力做两级干预。

    整体思路:把安全控制从"抑制孤立概念"改为"识别并抑制当前生成状态下的高风险语义关系"。DGSR 冻结骨干,分三步:动态构建语义交互图(DSIG)→ 上下文关系预测 → 推理时语义重组;另配三阶段渐进训练。

    动态语义交互图(DSIG)

    • 节点:把提示词做 NLP 分词与停用词过滤后得到 N 个语义跨度(span,如实体、动作)作为节点;功能词不单独成节点,原始提示词保持不变(附录 A.1、Figure 8)。
    • 视觉 grounding:用 Transformer 内文本–视觉注意力计算每个跨度在视觉 token 上的响应分布 Pi(Eq. 3–4),节点特征拼接文本特征、grounding 加权视觉特征与响应统计(最大响应、均值、grounding 熵),FLUX 配置下节点维度 6147(Table 5)。
    • 边:候选有向边为全连接 N(N−1) 条;用一阶 Wasserstein 距离度量两节点 grounding 分布的几何差异,转为初始边权 wij=exp(−dij/τot),τot=0.10;作者称 Wasserstein 距离能区分空间上相近与相离的分布,而余弦/JSD/Top-K 重叠只测相似或重叠程度(附录 A.2)。

    上下文关系预测

    • 节点与边属性先投影到共享隐空间,再用两层 Edge-GNN 交替做边更新、关系条件消息传递与节点更新(残差 MLP + LayerNorm,附录 A.3)。
    • 关系抑制头输出每条有向边的抑制强度 Rij−=fsup([hi(2);hj(2);gij(2)])∈[0,1],对角线置零,构成关系抑制矩阵 R−。

    推理时语义重组

    • 风险门控:取非自环关系分数前 10% 的均值作为图级门控分数 sG,达到阈值 τgate 才干预(FLUX.1-dev 0.45、Open-Sora 0.46、Wan2.2 0.30,Table 6),否则保留原始注意力。
    • 语义级抑制:每个节点按其最高风险出边得到抑制强度 ci,缩放对应文本 token 状态(Eq. 11)。
    • 关系级重组:由 S=A(R−)⊤ 得到位置相关的关系抑制,调整语义响应后经跨度级 Value 矩阵加到视觉注意力输出(Eq. 12–13)。
    • 干预比例按开发集选择:Nudity、Blood 为 40% 采样步,Violence 为 50%(附录 B.3)。

    三阶段渐进训练

    1. 图级风险学习:在 Edge-GNN 上加辅助分类头,用不安全/良性图级标签做 BCE 训练(lr 1×10⁻⁴,batch 16,10,000 步)。
    2. 反事实关系监督:对配对的不安全/安全条件在同一 latent 状态建图,针对被修改的目标交互构造候选关系集,用对比损失(margin m=0.3)拉开不安全与良性交互的抑制分数(lr 5×10⁻⁵,batch 8,8,000 步;附录 A.4 给出配对构建方式与示例 Table 4)。
    3. 生成对齐与保留:以安全条件下的速度预测为参考优化干预效果(Lalign,含归一化 MSE 与余弦项),并用 Lretain 约束良性条件下干预前后预测一致(lr 1×10⁻⁵,batch 1,2,000 步;各损失权重初始均为 1.0,随机种子 42)。

    理论分析

    • 命题 1:关系抑制对语义响应做相对重加权,惩罚差越大响应比越低,相等惩罚不改变比例(证明在附录 A.5)。
    • 命题 2:在参考场 Lipschitz 与局部对齐误差 η 的假设下,固定步长 Euler 采样的轨迹偏差上界为 C(L,T)·η;作者注明该界只适用于固定步长 Euler、控制的是 latent 距离,不直接保证感知相似或最终输出安全(附录 A.6)。
  4. 论文做了哪些实验?

    在 FLUX.1-dev 与两个视频骨干上评测三类不安全内容,作者称 DGSR 在 12 项 T2I ASR 中 10 项最低。

    实验设置

    • 被测骨干:T2I 用 FLUX.1-dev;T2V 用 Open-Sora 与 Wan2.2-TI2V-5B。
    • 基线:T2I 对比 ESD、EraseAnything、MACE、SafeRoPE、SAFREE、SLD、CoGFD、GrOCE;T2V 对比 SAFREE、EraseAnything++、T2VUnlearning。
    • 基准与规模:T2I 评 Nudity、Violence、Blood 三类,用 I2P、P4D、UnDiff、RAB 各 1,000 条测试提示;MS-COCO-10K 评通用生成能力;另构建语义邻近概念与配对良性提示评非目标保留。T2V 评 Nudity 与 Gore,用 Gen 与 RAB 提示集。
    • 指标:T2I 用 ASR(越低越好)、N-FID、COCO FID、CLIP Score、SSIM;T2V 用 Nudity/Gore Rate(不安全帧率)与 Subject Consistency。
    • 判定方式:NudeDetector(NudeNet)判裸露,Q16 判暴力/血腥;反事实评测用 Qwen2.5-VL-7B-Instruct 做统一视觉评审(固定参数、确定性解码)。所有方法用相同检测模型、阈值与协议。
    • 种子与协议:主评测固定种子 42,共享提示的基准用相同提示–种子对;P4D 与 UnDiff 的对抗提示针对各方法适配,因此 Table 1 中原始 FLUX.1-dev 在这两列标"–"。反事实协议用 3 个随机种子。

    主结果

    据 Table 1(FLUX.1-dev,ASR%,越低越好;N-FID/FID 越低越好,CS/SSIM 越高越好):

    表格较宽,可左右滑动

    方法Nudity I2PNudity RABViolence I2PViolence RABBlood I2PBlood RABN-FID (Viol.)COCO FIDCSSSIM
    FLUX.1-dev15.789.765.575.757.383.5––30.91.000
    EraseAnything7.529.433.251.537.958.530.921.830.20.584
    ESD9.211.054.966.834.655.135.223.128.40.493
    SafeRoPE7.722.542.957.139.545.926.121.930.80.672
    GrOCE8.129.040.252.434.451.327.522.330.10.715
    DGSR (Ours)3.219.834.841.323.540.723.821.530.80.752

    (表内仅列出部分方法与列;完整 9 方法 × 12 项 ASR 及 P4D、UnDiff 列见 Table 1。)

    • 作者称 DGSR 在 12 项 T2I ASR 评测中 10 项最低;例外可查 Table 1:Nudity 的 RAB 列 ESD 为 11.0,低于 DGSR 的 19.8。
    • 作者称 Violence 上相对最强基线 ASR 相对降低 11.4%。
    • 保留指标上 DGSR 的 N-FID 在三类中均为最低(21.6/23.8/21.7),SSIM 0.752 为各方法最高(Table 1)。

    据 Table 2(T2V,不安全帧率%,越低越好;Cons. 越高越好):

    表格较宽,可左右滑动

    方法Nudity Gen (Open-Sora)Nudity RABBlood/Gore GenBlood/Gore RABCons.
    Open-Sora58.2919.2161.3835.7595.92
    SAFREE31.6714.2744.7125.3893.25
    EraseAnything++17.107.7127.6314.2194.18
    T2VUnlearning16.509.5330.8312.6793.20
    DGSR (Ours)10.796.8324.9213.0495.04
    • Wan2.2-TI2V-5B 上 DGSR 各项帧率同样最低(Nudity Gen 20.92、RAB 12.04;Blood/Gore Gen 26.00、RAB 15.29,Table 2)。
    • 例外:Open-Sora 的 Blood/Gore RAB 列 T2VUnlearning 为 12.67,低于 DGSR 的 13.04。
    • 作者称 T2V 平均不安全帧率相对最强基线降低 41.2%,同时保持主体一致性(Open-Sora 上 Cons. 95.04,接近原始模型 95.92)。

    反事实安全–保留权衡

    • 测了什么:180 对匹配的不安全/良性提示(三类各 60 对),只改关键动作或交互目标,评 Unsafe Interaction ASR 与 Benign Interaction Accuracy(附录 C.4)。
    • 结果:作者称 DGSR 大幅降低不安全交互 ASR 且良性交互准确率接近原始模型(Figure 6);更严格的 SES 指标下 DGSR 总体达 70.4%,在三类及总体上均为最高(Figure 12)。
    • 作者解读:DGSR 更有效地在消除有害交互的同时保留关键共享概念。

    消融与机理分析

    • 组件消融(Table 3,FLUX.1-dev、Violence):Text-only Graph、Static Relation Policy、Pairwise MLP (w/o MP) 的 ASR 均高于完整 DGSR(如 I2P 列分别为 52.4、57.6、44.1,完整版 34.8);去掉语义级抑制或关系级重组同样使 ASR 升高(43.7、39.5)。作者称这体现了视觉状态感知建模、消息传递与两级干预的贡献。
    • 关系动态(Figure 5、Figure 9):作者称不同类别的语义边强随采样呈不同演化模式,且 DGSR 对不安全关系给的抑制分数持续高于良性关系(实线高于虚线)。
    • 风险门控(Figure 10):作者报告 FLUX.1-dev 误激活率 0%、漏检率 6.8%;Open-Sora 两项均 0%;Wan2.2 不安全检测完整但良性误激活 12.6%。

    其他消融与分析

    • 边度量(Table 7,Violence 平均 ASR / COCO FID):Wasserstein 45.3/22.4,优于 Cosine 50.1/22.8、JSD 48.6/22.5、Top-K Overlap 49.4/22.2。
    • 干预比例(Figure 7):作者称提高干预比例提升安全性但逐渐增加推理开销与语义损失,收益最终饱和,故取中等比例。
    • 计算开销(Table 8):DGSR 修改参数比例 0.0224%,修改耗时约 1,333 s,推理 5.07 s/sample(原始 FLUX 基线未在该表列出;SAFREE 为 5.36、SLD 4.71)。
    • 视频时空图构建(Figure 11):作者称视频 token 的 grounding 与关系强度随时间位置演化,支持同一图框架建模视频中的动态交互。
  5. 有什么可以进一步探索的点?

    论文未专门讨论局限;实验覆盖 3 个骨干、3 类不安全内容,安全判定依赖检测器与 LLM 评审。

    作者指出的局限与后续方向

    • 论文未专门讨论局限(无 Limitations 小节,Conclusion 与附录中未列出明确的局限或未来工作条目)。
    • 附录 A.6 注明理论分析的适用范围:轨迹偏差界只适用于固定步长 Euler 离散化,其他采样器需另行推导;局部误差条件需在采样实际访问的状态上成立,平均训练损失小并不保证该逐点条件;该界控制 latent 距离,不直接保证感知相似性或最终输出的安全性。

    实验覆盖范围

    • 被测生成骨干为 FLUX.1-dev(T2I)、Open-Sora 与 Wan2.2-TI2V-5B(T2V),共 3 个;不安全内容覆盖 Nudity、Violence、Blood(T2V 为 Nudity 与 Gore)三类。
    • T2I 评测基准为 I2P、P4D、UnDiff、RAB 各 1,000 条提示;主评测固定种子 42,论文未报告主表结果的多种子重复或方差。
    • 安全判定依赖 NudeDetector 与 Q16 两个检测器;反事实评测用 Qwen2.5-VL-7B-Instruct 做评审,论文未报告评审与人工判断的一致性。
    • 反事实评测规模为 180 对提示(每类 60 对)× 3 个种子,仅覆盖 EraseAnything、SafeRoPE、CoGFD 三个对比方法。
    • 理论分析限于固定步长 Euler 采样与共享时间网格(附录 A.6);论文未报告对自适应对抗提示(针对 DGSR 本身专门优化的绕过攻击)的评测。
  6. 总结一下论文的主要内容

    DGSR 把视觉生成的安全控制从静态概念抑制改为动态语义关系干预,在 T2I/T2V 上降低 ASR 并保留良性语义。

    一篇关于 T2I/T2V 安全生成的防御论文,出发点是:概念是否有害取决于上下文中的语义交互,而非概念本身。

    • 要解决的问题:作者认为现有概念擦除方法无差别抑制静态孤立概念,会在含敏感词的良性场景(如用刀切菜)中误伤生成质量,且未利用采样过程中演化的视觉状态。
    • 方法要点:DGSR 在采样中用语义跨度与当前文本–视觉 grounding 动态构建语义交互图(Wasserstein 边权),两层 Edge-GNN 预测有向关系抑制强度,经风险门控对冻结骨干的注意力做语义级与关系级两级干预;训练分图级风险学习、反事实关系监督、生成对齐与保留三阶段。
    • 主要结果:
      • T2I:作者称 DGSR 在 FLUX.1-dev 的 12 项 ASR 评测中 10 项最低,如 Nudity/I2P 上 ASR 3.2%(原始模型 15.7%,Table 1);例外是 Nudity/RAB 上 ESD 的 11.0 更低。
      • T2V:Open-Sora 上 Nudity/Gen 不安全帧率 10.79%(最强基线 16.50%),作者称平均帧率相对最强基线降 41.2%(Table 2)。
      • 反事实评测:180 对提示上总体 SES 70.4%,为各方法最高(附录 C.4)。
      • 保留与开销:N-FID 三类均最低、SSIM 0.752 最高(Table 1);修改参数比例 0.0224%(Table 8)。
    • 作者结论:作者称动态语义交互建模是在生成安全与语义保留之间取得平衡的一条可行路径,框架统一支持 flow-matching 与扩散模型的图像、视频生成。

相关论文

共同使用 UnlearnDiffAtk
共同使用 Ring-A-Bell
再看 3 篇
共同使用 Ring-A-Bell
阅读原文arxiv.org