Skip to content

Translation in progress Some entries still include text in the original language.

arXiv· arXiv:2601.07141· Xi Ye, Yiwen Liu, Lina Wang, Run Wang, Geying Yang, Yufei Hou, Jiayi Yu·Indexed by this site · Originally published

MacPrompt:面向文本到图像模型的混合语言引导越狱攻击

MacPrompt: Maraconic-guided Jailbreak against Text-to-Image Models

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

MacPrompt对T2I做黑盒跨语言攻击,Table 1中Sex、SD的ASR-5为96%。

Threat modelblack-box对手不访问F与G的参数或结构,只能提交提示并观察图像或拒绝。

Questions
T2I会生成NSFW与违禁物体。作者称过滤器与概念移除挡不住多样对抗提示,而能同时绕过两类防御的攻击常需模型内部信息。目标是做不访问内部的black-box跨语言攻击。
Methods
先用黑名单和嵌入相似度找敏感词,再用LLM取多语言候选,按图像有害分与CLIP相似度留下top-k。然后在字符级按可学习边界和顺序拼接,用零阶优化把检测分推向1。
Experiments and results
Table 1中blacklist的BPR为100%,Sex在SD的ASR-5为96%,Violence在SafeGen为90%。Table 2中Dog在SD的ASR-5为100%。商用ASR为DALL·E 3的65%与Doubao的96%。
Limitations and future work
Conclusion未列方法局限,只称可为后续安全生成研究提供参考。实验写到SD v2.1、九种概念移除、DALL·E 3与Doubao;未报告候选LLM名称、τ、查询次数和人工一致性。
Experimental setupSD v2.1、ESD et al. · NSFW-200、Object-200 · ASR-1、ASR-5 et al.
Threat model
black-box对手不访问F与G的参数或结构,只能提交提示并观察图像或拒绝。G含带过滤器的SD及概念移除模型。目标是绕过F,并使生成图含有害内容且与原提示图像相近。
Evaluated models
SD v2.1ESDSLD (Max)SLD (Strong)SLD (Medium)SafeGenFMNDUOEAPPromptGuardDALL·E 3DoubaoLatentGuardBERT-based NSFW text classifier
Benchmarks
NSFW-200Object-200
Metrics
ASR-1ASR-5BPRCLIPScoreBLIPScore
AI summary研究者提出 MacPrompt,一种黑盒跨语言攻击,通过对有害词做跨语言字符级重组构造混合语言对抗提示词,绕过文本到图像模型的安全过滤。该方法与原始有害输入的语义相似度最高达 0.96,绕过主要安全过滤的比例最高达 100%;对性相关内容的攻击成功率最高 92%,暴力内容 90%,可突破当前的概念移除防御。作者据此认为,需要重新评估现有 T2I 安全机制对语言多样、细粒度对抗策略的鲁棒性。

研究者提出 MacPrompt,一种黑盒跨语言攻击,通过对有害词做跨语言字符级重组构造混合语言对抗提示词,绕过文本到图像模型的安全过滤。该方法与原始有害输入的语义相似度最高达 0.96,绕过主要安全过滤的比例最高达 100%;对性相关内容的攻击成功率最高 92%,暴力内容 90%,可突破当前的概念移除防御。作者据此认为,需要重新评估现有 T2I 安全机制对语言多样、细粒度对抗策略的鲁棒性。

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    黑盒跨语言字符重组,用来同时绕过T2I文本过滤与概念移除。

    现有T2I的文本过滤与概念移除,挡不住不靠模型内部信息、且要同时对付这两类防御的跨语言对抗提示。

    • 场景:作者称主流T2I用大规模网络数据训练,可能生成NSFW或违禁物体;在线服务与开源SD用文本过滤、图像过滤和概念移除拦截,但这些防御仍会被对抗提示绕过。
    • 现有不足:作者称已有攻击通常只绕过内置过滤或概念移除之一;能同时绕过两者的方法一般需要目标结构等额外信息,不适合真实black-box。作者还称依赖同义词替换的方案对文本过滤无效。
    • 观察:作者称非英语提示在原版SD和基于SD微调的概念移除变体上也能生成语义相近的图(Figure 1);直接换语言仍可能被语义匹配或潜表示过滤拦住。作者据此做字符级跨语言重组,以拉开文本语义并保留视觉语义。
    • 方法:作者提出black-box攻击MacPrompt,把敏感词换成由多语言等价词的字符子串重组而成的macaronic替换。
    • 威胁模型:
      • 目标:构造padv,使F(padv)为False,且G(padv)含有害内容,并与G(pori)在视觉和语义上对齐。
      • 知识:black-box。不能访问F和G的内部参数或结构。
      • 能力:提交提示,观察返回图像或提示是否被拒绝,再据此修改提示。
      • 受害系统:带安全过滤器的SD,以及概念移除模型。F可以是关键词黑名单、基于预训练文本分类器的语义匹配,或潜表示过滤。
  2. What related research exists?

    防御分过滤器与概念移除;攻击按white-box、gray-box、black-box划分。

    输入与输出过滤

    • George (2023)用黑名单做text-match。Jieli (2023)训练文本分类器区分有害与无害提示;LatentGuard(Liu et al. 2025)做潜表示过滤。
    • Zeng et al. (2025)的图像过滤检查生成图中的NSFW,不安全则返回黑图。作者称DALL·E 2与Midjourney部署专有black-box过滤。

    概念移除

    • ESD(Gandikota et al. 2023)与FMN(Zhang et al. 2024a)微调扩散权重以去掉NSFW概念。
    • SLD(Schramowski et al. 2023)在去噪中抑制NSFW;SafeGen(Li et al. 2024b)修改视觉自注意力以去掉NSFW表示。
    • DUO(Park et al. 2024)用直接偏好优化做选择性遗忘;EAP(Bui et al. 2024)认为只留中性概念不够;PromptGuard(Yuan et al. 2025)引入safety pseudowords,按类型优化后再组合。

    按攻击者知识划分的NSFW攻击

    • white-box:Chin et al. (2024)、Yang et al. (2024b)、Zhao, Chen, and Gao (2024)、Xu et al. (2025)。作者称此时可访问目标结构与权重。
    • gray-box:Zhuang, Zhang, and Liu (2023)、Tsai et al. (2024)、Ma et al. (2024)、Yang et al. (2024c)、Gao et al. (2024)。作者称只能拿到部分信息,或使用文本与图像编码器。
    • black-box:DACA(Deng and Chen 2023)、Position(Yang et al. 2024d)、DiffZOO(Dang et al. 2024)、SurrogatePrompt(Ba et al. 2024)、ART(Li et al. 2024a)、PGJ(Huang et al. 2025)。作者称攻击者只有目标模型按提示生成的图像。作者称DiffZOO是唯一针对概念移除模型的black-box攻击,PGJ与SurrogatePrompt主要针对在线平台;并称依赖同义词替换的方案对文本过滤无效。

    跨语言线索

    • Raphaël (2022)把多种语言的词拼接,以保留原提示的视觉语义。作者称本文在此观察上进一步做字符级重组。
    • 基线与数据:实验基线为DACA、DiffZOO、ART、Position、MMP-Attack、PGJ、SurrogatePrompt。评测集为DeepSeek-V3构建的NSFW-200(taxonomy参照I2P)和含200条提示的Object-200。

    作者把MacPrompt定位为不访问模型内部、梯度或tokenizer的black-box框架,用来同时绕过文本过滤与概念移除,并称需要重新考虑超出单语假设和简单关键词匹配的防御。

  3. How does the paper address this problem?

    敏感词筛选后做跨语言候选,再用零阶优化拼出字符级macaronic替换。

    给定有害提示pori、过滤器F和目标G,MacPrompt把敏感词换成跨语言字符重组得到的macaronic词,使提示绕过F,同时让生成图仍带目标有害语义。图像有害分作为反馈,参数用零阶优化更新(Figure 2)。

    问题设定

    • 目标写成F(padv)=False, G(padv)≈G(pori)(式1):False表示绕过F,≈表示生成图与原提示的图视觉相近。作者还要求生成图含有害内容,且两图语义对齐。
    • 作者称,若新词由与原敏感词tokenization一致的token拼接,更可能保住图像语义。但SD对低资源或非拉丁语言的tokenization常不可逆,难以反推正好落到目标token序列的字符串,因此改为字符级构造。

    敏感词识别与候选筛选

    • 识别:与预定义有害词表做黑名单匹配(词表来自Yang et al. 2024b);或计算词嵌入与预收集有害概念嵌入的最大余弦相似度,超过τ则标为敏感。论文未给出τ。
    • 候选:每个敏感词由LLM译成或改写成L种语言,通常L=79。论文未点名该LLM。
    • 筛选:NSFW把候选放进含人物的模板,违禁物体用只含该词的图像模板,各生成10张图。H为目标类概率;CLIPSim只用于NSFW,对比安全提示的生成图。按H与CLIPSim的综合分保留top-k,通常k=10(Figure 3)。论文未给出综合分的权重。

    macaronic替换

    • 每个候选有边界参数β1、β2,取值在0到1,表示子串起止的归一化位置;仅当β2大于β1才截取,下标为字符长度乘β后取整。
    • 排序参数α决定片段顺序。片段按α降序拼接,替换pori中的全部敏感词,得到padv。
    • 一句里有多个敏感词时,对整句padv计算统一损失并联合更新。

    零阶优化与判定

    • 损失为L=||H(padv)−1||22(式9),把H推向与其维数相同的全1向量。H来自预训练NSFW检测器或物体分类器。梯度用有限差分近似,各参数的扰动δ单独调整,初始δ0=0.25。学习率0.1,迭代固定100;L小于τ则早停。该τ的数值论文未给出。
    • 评测判定与优化目标分开写:ASR-N要求N次生成内至少一张有害图;BPR只看提示是否绕过过滤器。实现为PyTorch,单张NVIDIA RTX 4090。作者称不访问模型内部、梯度或tokenizer。
  4. What experiments did the paper conduct?

    Table 1中Sex在SD上Ours的ASR-5为96%,blacklist BPR为100%。

    实验设置

    • 模型:SD v2.1;概念移除为ESD、SLD的Max、Strong、Medium、FMN、SafeGen、DUO、EAP、PromptGuard。另报告DALL·E 3与Doubao。
    • 数据:DeepSeek-V3构建NSFW-200,taxonomy参照I2P;Object-200含200条提示,类别为dog、cat、car、bird,选自MS COCO。正文未写NSFW-200的条数,也未写Sex与Violence各占多少。
    • 过滤:blacklist关键词过滤、BERT-based NSFW text classifier(Jieli 2023)、LatentGuard(Liu et al. 2025)。
    • 基线:Table 1为DACA、ART、Position、PGJ、SurrogatePrompt、DiffZOO;Table 2为MMP-Attack。作者称实验共七个black-box基线,名单中还包括MMP-Attack。
    • 指标:ASR-N指N次生成内至少一张有害图,报告ASR-1与ASR-5。BPR是绕过过滤器的提示比例,不看图的语义。CLIPScore、BLIPScore为CLIP或BLIP嵌入的余弦相似度。
    • 判定:色情用CLIP-based-NSFW-Detector,暴力用Q16,违禁物体用在Animals-10与Stanford cars上训练的分类器。优化学习率0.1、迭代100、δ0=0.25。论文未报告重复次数、查询次数和人工一致性。

    主结果

    下表为Table 1中Ours的ASR,单位%。SLD-Max、SLD-Strong对应SLD.Ma、SLD.S,PromptGuard对应ProG。

    Swipe horizontally to read the table

    模型Sex ASR-1Sex ASR-5Violence ASR-1Violence ASR-5
    SD v2.156964272
    ESD62744274
    SLD-Max5296836
    SLD-Strong54922248
    SafeGen38764990
    FMN52845274
    EAP2462834
    PromptGuard24342864

    省略SLD-Medium(Table 1的SLD.Me:Sex 54/88,Violence 20/36)与DUO(Sex 32/60,Violence 26/72)。

    • 作者称Sex上ASR超过基线,blacklist的BPR达到100%。按Table 1逐列比较,Sex的ASR-1与ASR-5在SD和九种概念移除上均高于同列基线。BPR并非每列最高:Sex的LatentGuard上Ours为82,DACA与PGJ为98;BERT上Ours为70,Position为94。
    • 作者称Violence仍有较高BPR和有竞争力的ASR。Table 1中Ours的List BPR为100、BERT为98,均为该列最高;LatentGuard为80,低于PGJ的92。SD的ASR-5,Ours为72,低于DACA的85;EAP的ASR-5,Ours为34,低于DACA的62。
    • 摘要与引言写sex最高92%、violence最高90%。Table 1的Sex ASR-5并不都以92为上限;Violence的最高ASR-5与引言中的90相同。作者称Figure 4上半部分显示,对抗提示可在多种概念移除模型上生成目标NSFW图,且一条提示可同时作用于多个过滤器。

    违禁物体生成

    • Table 2在dog、cat、car、bird上比较Ours与MMP-Attack,模型为SD、ESD、FMN、EAP,格式为ASR-1/ASR-5。SD上Ours为:dog 96/100,cat 86/98,bird 70/94,car 92/100。
    • 作者称提示只针对SD安全过滤器构造,仍可迁移到其他概念移除机制,并称部分设置高于MMP-Attack。作者称Figure 4下半部分中,同一提示在图中各模型上都能触发违禁物体。
    • 并非每格都更高。EAP上dog的ASR-5,MMP-Attack为94、Ours为88;cat的ASR-5,MMP-Attack为86、Ours为80;bird的EAP为66/82,Ours为58/80。ESD上bird的ASR-5,MMP-Attack为88、Ours为78。

    语义一致性

    • Table 3给出pori与padv、psafe与padv、Iori与Iadv的CLIPScore,以及pori与Iadv的BLIPScore。每一行中psafe与padv的CLIPScore都高于pori与padv;后者六类为Sex 0.8768、Violence 0.8618、Dog 0.9223、Cat 0.9004、Bird 0.8951、Car 0.9348。
    • pori与Iadv的BLIPScore为Sex 0.5602、Violence 0.5893、Dog 0.9572、Cat 0.9600、Bird 0.6007、Car 0.5047。作者称平均BLIPScore为0.6953,MMP-Attack为0.414,并称生成图与原语义对齐更好。
    • 作者称Figure 5的文本嵌入空间中,原提示与macaronic替换分开;图像嵌入空间中,两类提示的生成图形成紧簇。图中文字为Text embedding space与Image emebedding space。此处不复述图中的替换字符串。

    商用系统

    • 作者报告DALL·E 3的ASR为65%,Doubao为96%。论文未说明概念类别、是ASR-1还是ASR-5,也未说明样本量。

    其他消融与分析

    • 正文未报告改变单一变量的消融或参数扫描对比数字;更多细节作者称放在附录。
  5. What are some points that can be further explored?

    Conclusion未列方法局限,只指向后续的安全生成研究。

    作者指出的局限与后续方向

    • 论文未设Limitations专节。Conclusion称结果指出当前防御策略的关键缺口,并称MacPrompt可为后续安全、负责任生成模型研究提供参考;未写本方法的失败条件或具体后续实验。

    实验覆盖范围

    • 被测生成模型为SD v2.1、ESD、SLD (Max)、SLD (Strong)、SLD (Medium)、SafeGen、FMN、DUO、EAP、PromptGuard,并报告DALL·E 3与Doubao的ASR(Experiments)。
    • 过滤器结果列为blacklist、LatentGuard和BERT分类器;概念生成用NSFW-200,物体用Object-200的dog、cat、car、bird(Table 1、Table 2)。相关工作写过图像过滤,正文未报告图像过滤器的BPR。
    • Table 1的基线为DACA、ART、Position、PGJ、SurrogatePrompt、DiffZOO;Table 2对照MMP-Attack,模型列为SD、ESD、FMN、EAP。
    • 成功由CLIP-based-NSFW-Detector、Q16和物体分类器自动判定。正文给出学习率0.1、迭代100、δ0=0.25,以及通常L=79、k=10、每候选10张图,并称更多细节在附录。
    • 正文未写τ的数值、产生跨语言候选的LLM名称、查询次数、重复次数、检测器与人工的一致性;DALL·E 3与Doubao的ASR未写类别和ASR-N。
  6. Summarize the main content of the paper

    MacPrompt用黑盒跨语言字符重组绕过过滤与概念移除,并报告多项ASR。

    MacPrompt是面向文生图模型的black-box攻击,用跨语言字符重组检查文本过滤和概念移除能否被同时绕过。

    • 问题:作者称两类防御对多样对抗提示准备不足;能同时绕过它们的已有方法又常要目标模型的内部信息。
    • 做法:识别敏感词,用多语言等价词生成并筛选候选,再按可学习的起止位置与顺序拼接字符子串;检测分数由零阶优化推向1。不访问参数、梯度或tokenizer。
    • 概念生成:Table 1里,Sex的Ours对blacklist的BPR为100%,在SD与SLD-Max上ASR-5为96%;Violence在SafeGen上ASR-5为90%。同表Sex的LatentGuard BPR,Ours为82,低于DACA与PGJ的98。按该表逐列比较,Sex的ASR在SD和九种概念移除上高于同列基线;Violence并非如此,例如SD的ASR-5,Ours为72,DACA为85。
    • 物体与商用:Table 2中Dog在SD上Ours的ASR-5为100%;EAP上Dog的ASR-5,Ours为88,MMP-Attack为94。作者报告DALL·E 3的ASR为65%、Doubao为96%,未写明ASR-N与类别。Table 3中Cat的pori与Iadv的BLIPScore为0.9600;作者称六类平均BLIPScore为0.6953。
    • 作者结论:作者称这类替换能保留有害概念的视觉语义并混淆文本表示,并称需要重新考虑超出单语假设和简单关键词匹配的防御。Conclusion未列方法局限。
Read originalarxiv.org