跳到正文
原文

当引导成为护栏:文本到图像生成中不安全输入的早期拦截

When Guidance Becomes a Guard: Early Interception of Unsafe Inputs in Text-to-Image Generation

arXiv:对抗攻击、后门与投毒· arXiv:2610.26452· Yanchun Li, Yujin Wu, Gangkai Shen, Ming Yang, Li Zeng, Xianlong Wang, Hangtao Zhang, Shujuan TianXiangtan University; Changsha University of Science and Technology; City University of Hong Kong; Huazhong University of Science and Technology本站收录· 2026-10-20· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

CSTI用早期CFG对比拦截不安全输入,五生成器匹配5% FPR的Macro TPR为92.39%–95.75%。

威胁模型攻击者用构造或混淆提示词,诱导文生图模型生成受保护的风险概念,如裸露、暴力或其他有害内容。

问题
文生图扩散模型可被构造提示词诱导生成裸露、暴力等不安全内容,而输出过滤要等合成结束后才介入,完整生成成本已经发生。作者要问原生生成信号能否在早期检出不安全与对抗输入,并少误拒良性请求。
方法
CSTI在冻结生成器上读取CFG的条件与无条件激活差,在update 5、10、15取通道均值和RMS,用规范概念样本与安全样本拟合线性风险头,不用攻击样本。独立安全集做上尾秩校准,在update 15决定拦截或沿原轨迹继续。
实验与结果
五个生成器上,匹配5% FPR时CSTI的Macro TPR为92.39%–95.75%,作者称40个设置中37个最高。SD1.4在OVERT-mini的FPR为5.27%。五生成器早停延迟降幅为61.41%–71.72%。
局限与可以继续做的
论文未在结论或附录专门讨论局限。实验覆盖五个生成器、nudity与violence,以及SD1.4和SD3.5 Medium上的OVERT-mini。论文未报告各集合条数、重复次数和人工复核一致性。
实验设置SD1.4、SD1.5 等 · Ring-A-Bell、MMA-Diffusion 等 · TPR@5% FPR、Macro TPR 等
威胁模型
攻击者用构造或混淆提示词,诱导文生图模型生成受保护的风险概念,如裸露、暴力或其他有害内容。防御方读取冻结生成器中CFG已计算的条件与无条件激活,在update 15做一次拦截;标记则停止,已接受请求沿原轨迹继续。检测器用规范概念样本与安全样本拟合,不用攻击样本,阈值来自独立安全集。
被测模型
SD1.4SD1.5SDXLSD3.5 MediumZ-Image
基准
Ring-A-BellMMA-DiffusionCustomP4DI2PUnLearn sourceOVERT-mini
指标
TPR@5% FPRMacro TPRAUROCFPRlatency saving
AI 导读研究者提出条件语义轨迹拦截(CSTI),利用文本到图像扩散模型的条件响应在生成早期检测并拦截不安全或对抗性输入。该方法基于无分类器引导在条件响应中显露的安全信号,通过紧凑统计量和线性读出,在早期检查点聚合条件与无条件响应的激活对比来校准风险检测器。CSTI 仅用标准概念和安全样本训练概念专用检测器,不需要攻击样本、中间图像解码或修改生成器。在五个生成器、四个对抗攻击集合和两个通用 NSFW 数据集上,CSTI 在匹配 5% FPR 时于六种基线中总体表现最强;在拦截路径上,早期拦截将生成延迟降低 60% 以上。

研究者提出条件语义轨迹拦截(CSTI),利用文本到图像扩散模型的条件响应在生成早期检测并拦截不安全或对抗性输入。该方法基于无分类器引导在条件响应中显露的安全信号,通过紧凑统计量和线性读出,在早期检查点聚合条件与无条件响应的激活对比来校准风险检测器。CSTI 仅用标准概念和安全样本训练概念专用检测器,不需要攻击样本、中间图像解码或修改生成器。在五个生成器、四个对抗攻击集合和两个通用 NSFW 数据集上,CSTI 在匹配 5% FPR 时于六种基线中总体表现最强;在拦截路径上,早期拦截将生成延迟降低 60% 以上。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    在合成完成前,用文生图生成器原生CFG信号拦截不安全输入。

    能否在文生图合成完成前,用生成器原生CFG信号检出并拦截不安全与对抗输入。

    • 场景:作者称文生图模型会被构造提示词诱导生成裸露、暴力或其他有害内容;终图审核只能在完整生成成本发生后拦截(Figure 1)。
    • 现有不足:作者称IGD、Wukong、FlowGuard已把生成中检测做成可用路线,但仍留有空间考察原生条件计算里的安全信息。作者称拦截既要对不安全与对抗输入敏感,也要减少良性请求误拒。
    • 观察:作者称CFG在同一潜变量状态上的条件与无条件内部激活差,在早期采样就带有安全信息;紧凑通道统计与线性读出可以取出这些信息。
    • 方法:提出Conditional Semantic Trajectory Interception(CSTI)。按生成器与风险概念,用规范概念样本和安全样本拟合检测器,不用攻击样本,不解码中间图,不改生成器或已接受的采样。
    • 威胁模型
      • 目标:攻击者用构造或混淆提示词,使生成图像落入防御方指定的受保护概念。引言中的例子包括裸露与暴力。
      • 受害系统:未修改的文生图扩散生成器。主实验为SD1.4、SD1.5、SDXL、SD3.5 Medium与正文所称的full Z-Image。
      • 防御方能力:读取CFG已经计算的条件与无条件激活;生成器保持冻结;标记后提前停止,接受的请求沿原轨迹继续。论文未写攻击者对权重或内部状态的知识,也未使用white-box或black-box等术语。
      • 成功判定:作者称拦截不以攻击是否生成出不安全图为准,不成功的攻击仍可能降低输出质量。主实验用匹配经验5% FPR下的TPR。
  2. 有哪些相关研究?

    相关工作覆盖采样前筛查、生成控制、生成中检测与表征校准。

    采样前筛查

    • 文本分类:NSFW Text Classifier(michellejieli,2022)与Detoxify(Hanu and Unitary team,2020)在采样前筛查可能不安全的请求。
    • 嵌入检测:Latent Guard(Liu等,2024)在文本编码器嵌入的学习表示中检测有害概念;GuardT2I(Yang等,2024)用语言模型把文本引导嵌入转成自然语言,再检测对抗提示词。作者称这类筛查看不到采样中生成状态如何发展。

    生成控制与对抗提示

    • 改生成过程:ESD(Gandikota等,2023)更新权重以移除目标概念;SLD(Schramowski等,2023)与CRG(Choi等,2026)在推理时用引导抑制不安全概念。
    • 对抗提示:Ring-A-Bell(Tsai等,2024)与MMA-Diffusion(Yang等,2024)用构造提示词引出不安全输出。作者称这些工作促使在不改变已接受采样的前提下,于生成过程中评估风险。

    生成中检测

    • 中间状态:IGD(Yang等,2025)分类中间预测噪声;Wukong(Liu等,2026)用复用预训练交叉注意力参数的安全解码器读早期U-Net特征;FlowGuard(Yang等,2026)把中间潜变量线性解码到近似图像空间,再做视觉安全分类。
    • 引导与筛查:DAG(Li等,2025)用与优化后guideline token相关的交叉注意力图,从噪声潜变量识别有害概念,再施加自适应安全引导。InGuard(Wang等,2026)把提示词嵌入筛查与去噪中估计干净潜变量上的检测器结合。作者称这些方法的观测信号与读出机制不同。

    表征与阈值校准

    • 扩散特征:DIFT(Tang等,2023)抽取中间扩散特征做视觉对应;Diffusion Hyperfeatures(Luo等,2023)跨层、跨时间步组合表示做语义匹配。作者称这促使使用原生模型特征,但本文关注早期安全决策而非视觉对应。
    • 校准:作者称只有判别分数还不能规定选定工作点上良性请求被拒的频率;conformal方法(Angelopoulos and Bates,2021)用留出数据校准决策。CSTI把概念头拟合与阈值选择分开,避免在评测用的对抗集合上选阈值。

    基线与数据集

    • 对照:Table 2比较NSFW Text Classifier、Latent Guard、GuardT2I、IGD、Wukong、DAG(仅检测部分)。裸露集合为RAB、MMA-Diffusion、Custom、P4D、I2P、UnLearn source;暴力为RAB与I2P;过拒为OVERT-mini(Cheng等,2025)。

    作者把CSTI定位为读取CFG已经算出的成对条件与无条件响应,用少量早期更新的通道统计和线性概念读出,不重建中间图,不用基于注意力的辅助安全解码器;与会改写生成的方法不同,CSTI终止被标记请求,已接受轨迹不变(Section 2)。Table 1中仅CSTI在safe calibration一列标为支持。

  3. 论文如何解决这个问题?

    CSTI聚合早期CFG激活差,用线性头和独立安全集做一次拦截。

    在冻结生成器上,CSTI把少数早期检查点的CFG条件激活对比压成轨迹,用线性风险头打分,再用独立安全集做一次拦截。

    问题设定

    • 对象为生成器G、提示词p、随机种子r、防御方指定的风险概念c。z^(0)为初始状态,z^(t)为第t次采样更新后的状态,共T次更新。
    • 主评测固定T=50,在早期更新h=15之后做一次决策,且h<T。被标记的生成在最终图像解码前停止。
    • 接受的请求从当前状态继续,引导与调度器不变。生成器在拟合和部署中都保持冻结。

    条件对比与轨迹

    • CFG在每个更新、同一前一状态与同一调度时间步上,计算条件激活与生成器原生无条件输入上的激活。条件对比为 Dt=Htp−Ht∅,即提示条件带来的内部响应变化。两支路已由CFG计算,提取该差不需要额外的风险专用生成支路。
    • U-Net上该差为空间特征,Transformer上为图像token特征。每个通道在空间位置或token集合上取均值与RMS;论文写ϵ>0以保证数值稳定,未给出ϵ的取值。每个检查点把均值与RMS拼接,维度为2C。
    • 实验取检查点集合{5, 10, 15},按采样顺序拼接,称为conditional semantic trajectory。主实验的观测位置是U-Net middle block、SD3.5 Transformer block 11、Z-Image layer 14。统计形式对两种骨干相同,通道维数随生成器变化。

    无攻击样本的概念适配

    • 每个生成器、每个概念单独拟合。正例是目标概念的规范样本,不按某次攻击是否成功来选。不用攻击提示词、攻击生成图或攻击成功标签。
    • 先标准化,再做128维白化PCA,然后用类均衡logistic regression,以其线性决策值作为风险分数,越大表示风险越高。标准化器、PCA与分类器只用指定拟合划分顺序拟合,权重不在生成器或概念之间共享。
    • 作者称使用这一简单读出,是为考察早期表示是否直接暴露安全信息,而不是引入复杂检测网络。主实验的拟合规模为144条规范概念样本与256条良性样本。

    校准与拦截

    • 拟合后,用未参与概念拟合的独立安全样本把分数变成拦截决策。检验分数相对安全校准分数的上尾秩为 psafe(s)=(1+∑i=1ncal 1[si≥ s])/(ncal+1)。
    • 该量是排序分数,不是输入为良性的概率。给定工作水平α,若该秩不大于α则拦截。作者称在校准样本与测试安全样本可交换时,该秩规则把边际FPR界在α。主实验α=0.075,校准集为200条提示词。
    • 同一生成器与概念的读出和校准规则在各攻击集合上固定。50次更新的协议下,在update 15拦截可避开剩余35次更新。不解码中间图,不用外部视觉编码器。
  4. 论文做了哪些实验?

    作者称匹配5% FPR时37/40设置CSTI的TPR最高,Macro为92.39%–95.75%。

    实验设置

    • 生成器:SD1.4、SD1.5、SDXL、SD3.5 Medium、full Z-Image,均不修改,各50次采样更新。SD1.4/1.5与SDXL用DDIM、CFG 7.5,分辨率分别为512²与1024²。SD3.5 Medium与Z-Image用FlowMatch Euler、1024²,CFG分别为7.5与5。硬件为NVIDIA RTX 4090。
    • 数据:裸露六集合为RAB、MMA-Diffusion、Custom、P4D、I2P、UnLearn source;暴力为RAB与I2P。每集合配等量良性提示词。过拒用OVERT-mini。摘要写四个对抗攻击集合与两个一般NSFW数据集,论文未说明与这些集合名的对应。论文未报告各集合条数。
    • 划分:40个设置,即5个生成器乘8个风险提示设置。拟合为每生成器–概念144条规范概念加256条良性,无攻击样本。校准为200条良性、α=0.075。评测良性集为300条。过拒中,可训练方法用同一200条OVERT样本适配,在1,600条上评测。
    • 基线:提示词级为NSFW Text Classifier、Latent Guard、GuardT2I;生成中为IGD、Wukong、DAG(仅检测部分,表中记为DAG†)。作者称在适用处遵循已发布实现,并做了架构相关适配。
    • 指标:主指标是匹配经验5% FPR的TPR,辅以AUROC。该5%阈值由300条良性评测提示词确定(至多15次误报),与α=0.075的安全校准分开,因此Table 2不是α=0.075工作点。Macro先在概念内对集合平均,再对两个概念等权。
    • 判定:自动化评测另有人工复核(Section 4.1)。论文未报告复核样本量、一致性或评审模型,也未报告重复次数。TPR针对不安全输入,不以攻击是否成功出图为标签。

    主结果

    据Table 2,匹配5% FPR的TPR(%)。对照Macro是该生成器块中六基线Macro的最大值。

    表格较宽,可左右滑动

    生成器CSTI Macro对照MacroCSTI MMA裸露CSTI I2P暴力
    SD1.494.8690.80(IGD)95.6483.07
    SD1.594.7687.05(IGD)90.2684.66
    SDXL94.7583.81(IGD)92.1884.27
    SD3.5 Medium92.3977.56(Wukong)78.3585.65
    Z-Image95.7579.76(IGD)92.9091.67
    • 作者称CSTI在40个设置中的37个TPR最高,Macro从SD3.5 Medium的92.39%到Z-Image的95.75%;相对每个生成器上最强对照基线高4.06到15.99个百分点。作者称这在U-Net与Transformer上都成立。
    • Table 2中CSTI不是最高的三格:SD1.4的P4D裸露为95.69,IGD为96.49;Z-Image的MMA裸露为92.90,Wukong为96.30;Z-Image的UnLearn裸露为95.07,DAG为96.88。
    • 作者称结果仍依赖提示集合,并点出SD3.5 Medium的MMA裸露与SDXL的I2P暴力相对较低。Text Classifier在五个生成器上各列数字相同,其Macro为24.95。

    早期可读性

    • 层:Figure 3(a)给出五生成器、两概念上匹配5% FPR的逐层TPR。作者称多层都可读,中间层通常更强;SDXL裸露从最早检查层的73.57%到middle block的97.62%;Z-Image暴力从layer 0的42.41%到layer 14的95.50%。作者称最强观测位置随生成器与概念变化。文本抽取中其余逐层格子的列对齐不确定,此处不列。
    • 检查点:正文写update 5在匹配5% FPR下的TPR为裸露88.4%、暴力85.2%;联合update 5、10、15后,总体Macro TPR从仅update 15的92.2%到94.5%。Figure 3(b)另有91.6、95.0、96.5与83.3、89.4、92.5等标注;其中95.0与89.4的平均为92.2,96.5与92.5的平均为94.5,与上述总体Macro一致。正文未逐项给出Step 10的分概念TPR。
    • 校准下的FPR与读出:Figure 3(c)中各变体各自拟合并校准,不把经验FPR配到5%。联合表示的平均经验FPR为4.2%,update 5、10、15分别为15.9%、13.5%、10.4%。作者称很早阶段已有安全信息,合并检查点提供互补信息,并在该工作点降低误报。Figure 3(d)上,logistic regression的TPR为裸露96.5%、暴力92.5%;作者称总体平均高于SVM、MLP与random forest。

    过拒

    • 测了什么:OVERT-mini上的近概念良性提示。可训练方法用同一200条OVERT样本适配,在1,600条上报告FPR;其余基线用其最佳已发布配置。生成器为SD1.4与SD3.5 Medium(Table 4)。这不是Table 2的匹配5% FPR协议。
    • 结果:SD1.4上CSTI为5.27,表中六基线为DAG 7.78、IGD 15.78、Latent Guard 16.38、Wukong 20.38、GuardT2I 32.50、Text Classifier 38.43。SD3.5 Medium上CSTI为8.25,DAG为8.11。
    • 作者解读:作者称CSTI在SD1.4上低于全部六基线,在SD3.5上排第二,落后DAG 0.14个百分点;并称其余五基线的FPR从14.20%到38.43%。作者认为可用有限的额外适配减少对困难良性输入的误拒,又称语义相近良性提示上的误报仍是局限,SD3.5上尤其如此。

    延迟与显存

    • 测了什么:50次更新协议下,完整生成与在update 15提前停止的中位延迟;节省为成对中位降幅。峰值显存按标准生成、受监控的完整生成、早停的顺序报告(Table 5)。
    • 结果:降幅从SD3.5 Medium的61.41%(21.247s到8.213s)到SDXL的71.72%(6.600s到1.867s)。SD1.4、SD1.5、Z-Image的Full、Early Stop、Saving为2.674s、0.789s、70.56%,2.378s、0.709s、70.22%,以及62.360s、23.488s、62.21%。峰值显存(GiB)SD1.4为3.49/3.49/2.12,SD1.5为3.49/3.49/2.11,SDXL为18.49/18.50/7.09;SD3.5 Medium与Z-Image为12.06与12.52,早停后不变。
    • 作者解读:作者称早停在SD1.4、SD1.5、SDXL上降低峰值显存,在SD3.5 Medium与Z-Image上不变。摘要与贡献写拦截路径上的生成延迟降低超过60%;Table 5的范围为61.41%到71.72%。

    其他消融与分析

    • Table 3,五生成器、两概念及其提示集合上的层次Macro:仅均值的TPR@5% FPR为85.93、AUROC为0.9170;仅RMS为82.56、0.8846;均值加RMS为94.50、0.9802。
    • 作者未对Table 2中CSTI非最高的三格,以及点出的相对低集合,另给原因。
  5. 有什么可以进一步探索的点?

    论文未在结论或附录专门讨论局限。

    作者指出的局限与后续方向

    论文未在Limitations、Discussion、Conclusion、Future Work或附录中专门讨论局限或后续方向。

    实验覆盖范围

    • 被测生成器为SD1.4、SD1.5、SDXL、SD3.5 Medium、full Z-Image,共5个;均为50次更新,决策在update 15(Section 4.1)。
    • 风险概念为nudity与violence。裸露集合为RAB、MMA-Diffusion、Custom、P4D、I2P、UnLearn source;暴力为RAB与I2P。过拒评测为OVERT-mini,生成器为SD1.4与SD3.5 Medium,1,600条近概念样本(Section 4.4、Table 4)。
    • Table 2的数值比较包括NSFW Text Classifier、Latent Guard、GuardT2I、IGD、Wukong、DAG(检测部分)。Detoxify、ESD、SLD、CRG、FlowGuard、InGuard出现在Section 2或Table 1,Table 2未给出它们的TPR。
    • 检测器拟合不用攻击样本。主TPR使用与α=0.075校准分开的匹配5% FPR。论文未报告各风险集合的提示词条数、重复次数或方差。
    • 自动化结果辅以人工复核(Section 4.1),论文未报告复核样本量与一致性。效率数字为五生成器上早停的中位延迟与峰值显存(Table 5)。
  6. 总结一下论文的主要内容

    CSTI用早期CFG对比做校准拦截;五生成器Macro TPR为92.39%–95.75%。

    CSTI在采样结束前,用文生图生成器原生CFG的条件与无条件激活差拦截风险输入,不改生成器,也不改已接受的采样轨迹。

    • 问题:终图过滤要付完整生成成本。作者要在早期拦截不安全与对抗输入,同时控制良性请求误拒。
    • 做法:在update 5、10、15对激活差取通道均值和RMS并拼接。每个生成器、每个概念用144条规范概念样本和256条良性样本拟合标准化、128维白化PCA和类均衡logistic regression,不用攻击样本。独立的200条安全样本按上尾秩校准,主实验α=0.075,在update 15决定停止或继续。
    • 主结果:Table 2在匹配5% FPR下,CSTI的Macro TPR为SD1.4 94.86%、SD1.5 94.76%、SDXL 94.75%、SD3.5 Medium 92.39%、Z-Image 95.75%。作者称40个设置中37个最高,相对各生成器最强基线高4.06到15.99个百分点。
    • 例外与其他数字:非最高的三格是SD1.4的P4D裸露(CSTI 95.69,IGD 96.49)、Z-Image的MMA裸露(92.90,Wukong 96.30)和UnLearn裸露(95.07,DAG 96.88)。update 5的匹配5% FPR TPR为裸露88.4%、暴力85.2%(Figure 3(b))。OVERT-mini的1,600条上,CSTI的FPR为SD1.4 5.27%、SD3.5 Medium 8.25%(Table 4)。五生成器早停中位延迟降幅为61.41%–71.72%(Table 5)。
    • 作者结论:作者称原生引导计算为早期安全拦截提供了基础,并称简单线性读出在早期检查点上可用。结论未列出后续工作。

相关论文

共同使用 P4D
共同使用 MMA-Diffusion
再看 3 篇
共同使用 MMA-Diffusion
共同使用 Ring-A-Bell
阅读原文arxiv.org