跳到正文
原文

超越提示攻击:文生图扩散模型概念擦除的最小作用量审计

Beyond Prompt Attacks: Least-Action Auditing of Concept Erasure

arXiv:对抗攻击、后门与投毒· arXiv:2611.10106· Yifei ZhuTohoku University本站收录· 9 天前· 原文发表评测

论文速读

评测与基准

据论文 PDF 整理(AI 生成),以原文为准

作者提出对概念擦除模型的 least-action 审计:在冻结扩散模型上测复活概念的最小控制代价,18 个概念-机制对上预测部署泄漏(Spearman ρ=−0.76)。

问题
概念擦除后的文生图模型通常只用提示词攻击审计,但拒答某个提示不等于模型不再生成该概念;作者认为应直接度量冻结生成器仍赋予概念的残余概率。
方法
作者把审计形式化为冻结反向 SDE 上的路径空间随机控制:在噪声通道加控制量,最小化驱动轨迹进入 CLIP∧DINOv2 双检测器共识事件的控制能量,得到 least-action barrier ΔSrob,并用 N=1500 部署采样测外部泄漏率。
实验与结果
18 个概念-机制对上 ΔSrob 与部署泄漏 Spearman ρ=−0.76,同概念 18/18 对排序正确;SLD barrier 近零、显式提示下泄漏 85.5%;审计引导的闭式补丁把 UCE nudity 泄漏从 16.2% 降到 0/1500,RECE church 泄漏降 3.3×。
局限与可以继续做的
作者指出 ΔS 绝对值随优化预算收缩(约 40%),只有排序是结论;高 barrier 只是上界不构成证明;结论限于 SD v1.x 公开权重的擦除器,修复只在两个机制族的五个目标上演示。
实验设置ESD、UCE 等 · I2P (sexual category, 931 prompts)、ImageNette objects (church, parachute, garbage truck, golf ball, gas pump) 等 · ΔSrob (least-action barrier, nats)、Pleak (sampling-certified leak rate, 95% Clopper–Pearson CI) 等
威胁模型
这不是攻击论文,而是审计方法:审计者拥有冻结的擦除后 Stable Diffusion 检查点(开放权重),在噪声通道加控制量驱动反向过程,不使用对抗提示词;目标是估计模型仍赋予被擦除概念的残余概率,并预测部署采样下的泄漏率。
被测模型
ESDUCERECESLDBK-SDM-small
基准
I2P (sexual category, 931 prompts)ImageNette objects (church, parachute, garbage truck, golf ball, gas pump)eight artistic styles
指标
ΔSrob (least-action barrier, nats)Pleak (sampling-certified leak rate, 95% Clopper–Pearson CI)Spearman ρFID/KIDretained CLIP score
AI 导读论文提出针对文生图扩散模型概念擦除的最小作用量审计方法,不再用提示攻击检验单条提示词能否召回被擦除概念,而是度量冻结生成器仍分配给该概念的残余概率。最小作用量屏障是把冻结反向过程驱入检测器定义的概念事件所需的最小控制成本,即该事件的负对数概率,用 CLIP∧DINOv2 共识终端估计 ΔS_rob,无需重训练或对抗提示。在覆盖物体类别与 NSFW 裸露的 18 组概念-擦除机制配对上,ΔS_rob 能预测部署泄漏(由审计外检测器在每模型 1,500 个新样本上计数,合并 Spearman ρ=-0.76,p=5×10^-4),且每个概念内屏障更高的擦除方法泄漏更少(18/18)。同一批轨迹还可修补已部署检查点,审计引导的闭式补丁将 UCE 裸露泄漏从 16.2% 降到 0/1,500,RECE 教堂泄漏降低 3.3 倍,方向数匹配的随机编辑则做不到。

论文提出针对文生图扩散模型概念擦除的最小作用量审计方法,不再用提示攻击检验单条提示词能否召回被擦除概念,而是度量冻结生成器仍分配给该概念的残余概率。最小作用量屏障是把冻结反向过程驱入检测器定义的概念事件所需的最小控制成本,即该事件的负对数概率,用 CLIP∧DINOv2 共识终端估计 ΔS_rob,无需重训练或对抗提示。在覆盖物体类别与 NSFW 裸露的 18 组概念-擦除机制配对上,ΔS_rob 能预测部署泄漏(由审计外检测器在每模型 1,500 个新样本上计数,合并 Spearman ρ=-0.76,p=5×10^-4),且每个概念内屏障更高的擦除方法泄漏更少(18/18)。同一批轨迹还可修补已部署检查点,审计引导的闭式补丁将 UCE 裸露泄漏从 16.2% 降到 0/1,500,RECE 教堂泄漏降低 3.3 倍,方向数匹配的随机编辑则做不到。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者认为提示词攻击测不出擦除模型的残余生成能力,提出用最小控制代价直接审计残余概率。

    核心问题:概念擦除后的文生图扩散模型,如何度量它仍然赋予被擦除概念的残余生成概率,而不是只测某个提示词是否还能唤起它。

    • 场景与重要性:擦除后的检查点以开放权重直接部署。作者指出,一个模型可以拒答目标提示词、却在生成动力学中保留该概念,部署泄漏取决于冻结反向过程赋予目标事件的概率质量。
    • 现有审计的不足:作者称,该领域几乎完全通过条件接口审计——重新提示或跑提示/嵌入攻击——其结论依赖于所选攻击,且不提供部署协议下的泄漏率。
    • 核心观察:扩散模型诱导反向轨迹的路径分布;在噪声通道加控制量并最小化控制能量,等价于路径空间 KL 散度,也就是事件的负对数概率。残余概念若仍常见,到达它的 action 就小。
    • 论文提出什么:least-action 审计框架及其实用估计 ΔSrob(CLIP∧DINOv2 双检测器共识终端),无需重训练、无需对抗提示;并用每模型 1,500 次部署采样、由审计之外的检测器计数泄漏,作为外部真值验证;同一轨迹还用于导出修复方向。
    • 审计设定(非攻击论文):
      • 审计者持有冻结的擦除后检查点(SD v1.4 开放权重),权重不更新。
      • 控制变量是噪声通道中每个 DDIM 步的控制向量,不搜索提示词。
      • 受害/被审对象是部署中的概念擦除模型(ESD、UCE、RECE、SLD 四族)。
      • 成功判定:双检测器共识确认概念复活;外部真值是 NudeNet/ImageNet 分类器计数的部署泄漏率。
  2. 有哪些相关研究?

    相关工作分四组:擦除机制、条件空间攻击、内在诊断、随机控制理论;本文被定位为对四类擦除机制的事后审计。

    擦除机制(本文的审计对象)

    • ESD(Gandikota et al., 2023a):向负引导方向微调 U-Net。
    • UCE(Gandikota et al., 2023b)与 RECE(Gong et al., 2024):对交叉注意力 key/value 投影做闭式编辑;论文称 RECE 是强闭式擦除器。
    • SLD(Schramowski et al., 2022):推理时安全引导,不改权重。Li et al. (2026) 将擦除扩展到数百概念和新骨干。

    条件空间攻击

    • UnlearnDiff(Zhang et al., 2023)、文本反演攻击 CCE(Pham et al., 2023)、概念向量攻击 Ring-A-Bell(Tsai et al., 2023)、提示搜索红队(Chin et al., 2023)、MMA-Diffusion(Yang et al., 2023)、RECORD 恢复攻击(Richardson et al., 2025)。
    • Lu et al. (2025) 与 Liu and Zhang (2025) 跨多方法显示被擦概念会在这类探针下重现;Saha et al. (2025) 基准化了擦除对邻近概念的副作用。
    • 论文指出这些攻击都搜索条件接口,判定依赖于所选攻击;本文的 barrier 搜索反向轨迹、不需要提示攻击。

    内在诊断

    • PROBE(Xie et al., 2026):用表示探针诊断被擦文生视频模型的残余概念能力,与本文的残余能力视角最接近;论文称本文的 barrier 增加了路径空间概率解释,并对照外部测得的部署泄漏率验证。
    • SCORE(Fu et al., 2025):把信息论鲁棒界作为自训练模型的训练目标;论文称本文的 barrier 是事后度量,可算在任何冻结检查点上,包括 SCORE 训出的模型。

    随机控制与稀有事件

    • Freidlin–Wentzell、Onsager–Machlup 的最小作用视角与 Boué–Dupuis 表示(Boué and Dupuis, 1998)是理论基础;Premkumar (2024, 2025) 把扩散似然与控制代价联系起来。

    基线与基准:修复实验的基线是三个 audit-free 编辑(B1 概念 token 重投影、B2 单步闭式对抗嵌入、B3 方向数匹配的随机方向);泄漏评测用 I2P 基准的 931 条 sexual 类提示词与作者构建的显式提示部署分布。作者将本文定位为:把概念擦除审计从接口测试转为对残余生成能力的模型内诊断(Table 1 按搜索变量对比了各审计族)。

  3. 论文如何解决这个问题?

    把审计写成冻结反向 SDE 上的路径空间随机控制,用双检测器共识终端的 ΔSrob 估计残余概率,再用部署采样泄漏率做外部验证。

    整体思路:冻结扩散模型定义反向路径测度 P,在噪声通道加控制 u 得到倾斜测度 Qu,到达目标概念事件所需的最小控制能量等于路径空间 KL 散度、即事件的负对数概率。框架名为 least-action auditing,实用估计为 ΔSrob。

    理想 barrier 与控制表示

    • 目标事件 E={h(xT)≥τ}(概念存在),理想审计量是残余生成能力 B(E) := −log P(xT ∈ E),即冻结模型在自身采样器下重新生成该概念的负对数概率。
    • 由 Boué–Dupuis 表示,硬约束下 B(E) = infu: Qu(E)=1 KL(Qu | P) = KL(Q⋆ | P),其中 Q★ 是 P 条件于 E 的 Doob h-变换;barrier 度量把模型自然路径分布倾斜到概念条件分布所需的信息量。
    • 低 barrier 表示概念条件轨迹接近模型自然行为;高 barrier 表示要到达概念必须改变整个路径测度。

    实用估计 ΔS

    • 用 Adam 和自动微分穿过冻结 U-Net 的离散反向轨迹(梯度检查点,权重不更新)求解:最小化 ½∑‖ut‖²Δt + λ·relu(τ−h(xT))。
    • 控制进入 ε 空间的方式与标准引导通道相同;控制族 U_B 是每个 DDIM 步一个控制向量,从多个种子优化到预算 B。
    • 求解器设置(附录 A):确定性 DDIM(CFG 7.5、20 步)、τ=3.5、学习率 0.05、终端权重 λ=20;ΔS 取到达种子的平均 action。
    • 两个副产品:终端 x★T 是 instanton 图像(E 中最可能的成员);能量剖面 ‖u★t‖² 是把 barrier 定位到噪声时刻的谱。

    检测器共识终端 ΔSrob

    • 单一可微指示 h 可能被部分钻空子:least-action 路径可能满足 h≥τ 但独立检测器不认。ΔSrob 用 soft-AND 终端,要求被优化的指示(CLIP ViT-L/14)与独立分类器(DINOv2 最近质心)都确认。
    • ΔSrob 即两个不同族检测器都确认概念复活所需的最小 action;高值表示概念难以从 score 场恢复,低值表示复活便宜且可验证。

    验证协议与外部真值

    • 审计对象:SD v1.4(四族擦除器都有公开权重),概念为八个艺术风格和五个 ImageNette 物体;在部署采样器(CFG、概念提示)上求解,使未擦除模型 ΔS≈0。
    • 估计器验证:2-D 高斯混合扩散上恢复稀有事件对数概率(Spearman ρ=1.0、slope 0.83);SD 尺度下事件阈值扫描中 ΔS 随经验 −logP 单调上升(Spearman 1.0,Girsanov 校准变体 0.89,Figure 5);作者强调这只验证排序而非绝对校准,论文所有结论都是排序结论。
    • 外部真值:每模型 N=1500 次部署采样(CFG、概念提示、随机种子),用 NudeNet(NSFW)或 ImageNet top-5(物体)计数复活,给出精确双侧 95% Clopper–Pearson 区间;泄漏检测器与 barrier 的检测器完全不重叠。
  4. 论文做了哪些实验?

    18 个概念-机制对上 ΔSrob 与部署泄漏 Spearman ρ=−0.76,同概念 18/18 对排序正确;审计引导补丁把 UCE nudity 泄漏降到 0/1500。

    实验设置

    • 被审模型:SD v1.4 上的 original(未擦除)、ESD、UCE、RECE、SLD 四族擦除器,共 31 个擦除模型(Table 2);概念为八个艺术风格、五个 ImageNette 物体和 NSFW nudity;另在 BK-SDM-small 上测迁移。
    • barrier 求解:CLIP ViT-L/14 指示 + DINOv2 最近质心共识;RECE-vs-UCE 配对求解用 nseed=3、niter=60(附录 A)。
    • 泄漏测量:每模型 N=1500 部署采样,NudeNet(NSFW,阈值 0.5)或 ImageNet top-5(物体),精确 95% Clopper–Pearson 区间;I2P 用其 931 条 sexual 类提示词。
    • 统计:Spearman 相关(10⁴–10⁵ 置换检验)、概念簇 bootstrap、概念内置换检验、二项混合模型、留一概念 isotonic 预测。
    • 修复评测:三个不相交种子池(提取、调参、held-out N=1500 认证),准则预先固定;基线 B1/B2/B3 用同一闭式算子。
    • 重复与方差:求解器三次重启标准差 8–38 nats;预算扫描 {15,30,60,150} 次迭代。

    主结果

    NSFW 部署泄漏(NudeNet,N=1500,据 Table 6)与对应 ΔSrob(正文第 4 节):

    模型ΔSrob (nats)Pleak [95% CI]
    original≈00.882 [0.865, 0.898]
    SLD近零0.855 [0.837, 0.873]
    UCE3.90.164 [0.146, 0.184]
    ESD75.50.098 [0.083, 0.114]
    RECE224.50.014 [0.009, 0.021]
    • 作者报告:18 个部署擦除器上 pooled Spearman ρ=−0.76(p=5×10−4;含未擦除锚点 ρ=−0.73,n=24);物体域 ρ=−0.82(n=14),nudity 域擦除器间 ρ=−1.0(Figure 2)。
    • 同概念成对比较中,barrier 更高者泄漏更低为 18/18(限权重编辑擦除器为 7/7);留一概念 isotonic 预测排序 held-out 单元 18/18 正确(预测与实测 ρ=0.61)。
    • 例外:gas-pump/UCE 是高 barrier 离群点(ΔSrob=286,泄漏 26%);2.5× 预算重解降到 152,作者称这是统一的预算收缩,所有排序统计不变。

    机制诊断(Table 2、Table 3)

    • 机制排序:31 个模型上 mean ΔS 为 ESD 257.6 ≫ UCE 145.9 ≫ SLD 4.2;ΔSrob 中位数 ESD 209.7 vs UCE 116.2(Mann–Whitney p≈0.03);共识探针 confirm-revive 仅 2/5 ESD 模型 vs 8/8 UCE 模型(未到达的 ESD 单元记录的是求解器最佳尝试,作者称该分离是保守的)。
    • RECE vs UCE(Table 3,配对同求解器):RECE 平均 barrier 277.3 vs UCE 107.4(2.58×,逐概念 1.8–3.7×);confirm-revive 1/3 vs 3/3;作者称 RECE 虽为闭式方法,barrier 落在微调的 score 场移除区间。
    • 针对性排除法:八个无关提示上 retained CLIP 分数各擦除器均保持(0.259 ESD、0.262 UCE vs 0.262 original),作者据此认为高 barrier 是定向移除而非模型整体损坏;ESD 的无关样本漂移略大(DINOv2 相似度 0.78 vs 0.84,collateral FID 53.8 vs 46.2)。

    审计引导修复(Table 4、Figure 4)

    • UCE nudity(预修复泄漏 16.2%,ΔS≈0):审计引导补丁把 held-out 泄漏降到 0/1500(≤0.25%),独立 ViT 检测器确认 21.8%→0.13%,retained CLIP 变化在 0.0001 内;补丁同时把 barrier 从 ≈0 装到 245(2.5× 预算下 121)。
    • RECE church(预修复 7.1%):同一流程把泄漏降 3.3× 到 2.1%(独立 ViT 6.5%→1.2%),barrier 236→291;代价是 collateral FID 89,PCA 方向变体在同等泄漏 2.3% 下 FID 61(Table 5)。
    • audit-free 基线:B1 重投影使 church 升到 28.5%;B2 对抗嵌入在 nudity 上重新引入概念(87.2%);B3 随机方向在 church 上 8.8%(高于未修补)、golf-ball/UCE 上 53.8%(审计补丁 4.1%);作者称审计方向是活性成分而非投影方向数量。

    其他消融与分析

    • 检测器稳健性:Falconsai ViT 重评同一批样本,方法排序 Spearman=1.0(Table 7);CLIP zero-shot 检测器绝对率不同(κ≤0.21)但排序完全一致。
    • 提示分布:I2P 上 SLD 泄漏 14.1% vs 显式提示 85.5%(6× 摆动);ESD 1.9/9.8%、RECE 1.4/1.4% 跨机制稳定(Table 8)。
    • DDIM 步数 {12,20,28}:ESD 均值在每设置下均高于 UCE(250>208、243>207、244>212)。
    • 预算扫描:预算 60→150 时 barrier 降约 40%(church/RECE 240→146),排序不变。
    • 动作谱因果测试:置零早期一半控制几乎移除全部 action(church/RECE 173→5),高 barrier 擦除器需要整条路径(reach 1.00→0.00)。
    • 第二骨干 BK-SDM-small:UCE 提升 barrier 并降低泄漏(church 0→121、100%→87%;parachute 0→228、80%→16%)。
  5. 有什么可以进一步探索的点?

    作者指出绝对幅度随预算收缩、只有排序是结论,修复仅在两个机制族五个目标上演示;实验限于 SD v1.x 公开权重擦除器。

    作者指出的局限与后续方向

    • 幅度依赖预算(Section 7):估计器达到非凸局部最优,任何可行控制只是理想 barrier 的上界;低 ΔSrob 见证了一次便宜的确认复活(一次攻击),高值只是界而非证明;预算 60→150 时 barrier 降约 40%,作者因此只引用排序作为证据。
    • 绝对校准不迁移(Section 3.1、7):连续理论预测单位斜率,但 SD 尺度下斜率不迁移(Spearman 0.89 保持、斜率不保持),作者称引用 B 作含义、ΔS 排序作证据。
    • 依赖有判别力的指示器(Section 7 Scope):弱指示器 CLIP ViT-B/32 会使信号塌缩,DINOv2 共识只能缓解。
    • 机制分离的幅度依赖概念(Section 7 Scope):十三个风格概念中有两个接近打平,方向一致性始终成立。
    • 骨干扩展是理论工作(Section 7 Scope):主结果锚定 SD v1.x 公开权重;扩展到 rectified-flow 骨干需要重定义路径测度(如小噪声正则化或初始噪声变量替换),作者称这是具体的理论延伸。
    • 修复规模是后续实证方向(Section 7 Scope):修复只在两个擦除器族的五个目标上演示,作者称把修复扩展到更多机制是直接的实证延伸。

    实验覆盖范围

    • 被审模型为 SD v1.4 上的 original、ESD、UCE、RECE、SLD,共 31 个擦除模型;概念为八个艺术风格、五个 ImageNette 物体和 NSFW nudity;另在 BK-SDM-small 上测了 church 和 parachute 两个概念(附录 B)。
    • 泄漏外部真值为每模型 N=1500 部署采样(I2P 为 931 条提示词),检测器为 NudeNet、ImageNet top-5,稳健性检查加 Falconsai ViT 与 CLIP zero-shot。
    • 修复实验覆盖 UCE nudity 与 RECE church 两个主目标,方向数匹配控制扩展到五个目标;准则与种子池预先固定(附录 A)。
    • 论文未报告 ΔS 求解的随机种子数(仅 RECE-vs-UCE 配对写明 nseed=3、niter=60),也未报告主网格的求解预算取值。
    • 稀有事件重要性采样估计器只在 2-D 可解扩散上验证(Pearson 0.9997),未在 SD 尺度给出低于 3/N 采样下限的泄漏估计。
  6. 总结一下论文的主要内容

    作者提出 least-action 审计度量擦除模型的残余生成能力,barrier 预测部署泄漏并指导修复,把审计从接口测试转为模型内诊断。

    一篇关于文生图扩散模型概念擦除的审计方法论文。作者认为主流提示词攻击只测条件接口,测不出冻结生成器仍赋予被擦除概念的残余概率,而部署泄漏恰恰取决于后者。

    • 方法:把审计形式化为冻结反向 SDE 上的路径空间随机控制——在噪声通道加控制量,到达概念事件的最小控制能量等于事件的负对数概率;实用估计 ΔSrob 用 CLIP∧DINOv2 双检测器共识终端,不重训练、不用对抗提示。
    • 外部验证:每模型 N=1500 部署采样、由审计之外的检测器计数泄漏。18 个概念-机制对上 ΔSrob 与泄漏 pooled Spearman ρ=−0.76(p=5×10−4);同概念内 barrier 更高者泄漏更低为 18/18;留一概念预测排序 18/18。
    • 机制诊断:mean ΔS 为 ESD 257.6 ≫ UCE 145.9 ≫ SLD 4.2;SLD barrier 近零、显式提示下泄漏 85.5%(与未擦除模型 88.2% 统计上不可区分),而 I2P 上仅 14.1%,作者称这是单一基准评测会漏掉的分布特异性抑制。
    • 修复:审计轨迹定位残余概念模式,CCE 反演后套用闭式投影:UCE nudity 泄漏从 16.2% 降到 0/1500,RECE church 降 3.3× 到 2.1%;方向数匹配的随机编辑在高 barrier 目标上失败甚至抬高泄漏。
    • 作者的结论与边界:作者称这把擦除审计从接口测试变成对残余生成能力的模型内诊断;同时强调绝对幅度随优化预算收缩、所有结论都是排序结论,高 barrier 是上界而非证明,修复目前只在两个机制族的五个目标上演示。

相关论文

共同使用 I2P
阅读原文arxiv.org