Skip to content

Translation in progress Some entries still include text in the original language.

arXiv· arXiv:2601.05150· Wonwoo Choi, Minjae Seo, Minkyoo Song, Hwanjo Heo, Seungwon Shin, Myoungsung You·Indexed by this site · Originally published

PC²: Generating Politically Controversial Content via Jailbreak Attacks on GPT-Based Text-to-Image Models

$PC^2$: Politically Controversial Content Generation via Jailbreaking Attacks on GPT-based Text-to-Image Models

Quick read

Attacks

Based on 论文 PDF (AI 生成); refer to the original

PC²用身份保持描述与地缘远端多语翻译越狱GPT文生图,GPT-4o上240条ASR为86.25%。

Threat model黑盒:攻击者仅能通过公开网页接口(如ChatGPT的gpt-image-1)提交提示词,只能观察拒绝或出图,不能访问参数、训练数据、过滤器逻辑或梯度,也不能改图像后端。

Questions
商业文生图的安全过滤主要针对色情、暴力等NSFW,对描绘真实公众人物的政治敏感图像缺少专门检验。作者认为这类内容的有害性来自实体关系,且必须保住可识别身份,语义替换难以同时做到。
Methods
PC²在黑盒网页接口上检测敏感实体,改写成保留身份的描述,译入72种语言,再按四项地缘敏感度挑选远端语言并用字母索引拼回动作,使过滤器难以合成政治关系。
Experiments and results
240条原文在三个GPT接口上ASR为0%。PC²全部ASR为86.25%、68.33%、76.25%(Table 3)。物体子集GPT-4o上PC²为87.60%,SurrogatePrompt为8.26%。分层防御ASR为11.67%。
Limitations and future work
作者写明主评测限于GPT系接口。Midjourney、Nano-Banana对36人分别有17、14人不支持。覆盖三个GPT接口、240条英文提示词;基线对比只在物体子集与GPT-4o。论文未写明11.67%对应哪个接口。
Experimental setupGPT-4o、GPT-5 et al. · 240条英文PSC提示词(36位公众人物;121条object-based,119条phrase-based)、G7分国子集 et al. · ASR、TSR et al.
Threat model
黑盒:攻击者仅能通过公开网页接口(如ChatGPT的gpt-image-1)提交提示词,只能观察拒绝或出图,不能访问参数、训练数据、过滤器逻辑或梯度,也不能改图像后端。目标是绕过安全过滤器,生成可用于虚假信息或宣传的政治敏感图像(PSC)。
Evaluated models
GPT-4oGPT-5GPT-5.1gpt-image-1Nano-Banana ProMidjourneyNano-Banana
Benchmarks
240条英文PSC提示词(36位公众人物;121条object-based,119条phrase-based)G7分国子集207张PC²生成PSC与207张良性图像
Metrics
ASRTSRTPRFPRFleiss' Kappaimage generation success rate
AI summaryThe researchers propose PC², a black-box political jailbreak framework for text-to-image models, which the paper claims is the first of its kind. It exploits the vulnerability that safety filters judge political sensitivity based on linguistic context. It first uses identity-preserving description mapping to rewrite sensitive keywords into neutral descriptions, then uses geographically distant translation to convert them into fragmented low-sensitivity language, preventing the filter from establishing harmful associations between political entities in the prompt. The authors constructed a benchmark containing 36 public figures and 240 politically sensitive prompts. On commercial GPT-series text-to-image models, all original prompts were blocked, while PC² achieved an attack success rate of up to 86%, greatly surpassing existing frameworks. The authors also proposed a deployable multi-layer filtering mitigation scheme that reduces the attack success rate to about 10%.

The researchers propose PC², a black-box political jailbreak framework for text-to-image models, which the paper claims is the first of its kind. It exploits the vulnerability that safety filters judge political sensitivity based on linguistic context. It first uses identity-preserving description mapping to rewrite sensitive keywords into neutral descriptions, then uses geographically distant translation to convert them into fragmented low-sensitivity language, preventing the filter from establishing harmful associations between political entities in the prompt. The authors constructed a benchmark containing 36 public figures and 240 politically sensitive prompts. On commercial GPT-series text-to-image models, all original prompts were blocked, while PC² achieved an attack success rate of up to 86%, greatly surpassing existing frameworks. The authors also proposed a deployable multi-layer filtering mitigation scheme that reduces the attack success rate to about 10%.

Paper analysis

6 questions; open one to read the full answer

  1. What problem does this paper attempt to solve?

    作者要检验GPT系文生图能否挡住政治敏感图像,并提出黑盒框架PC²。

    商业文生图能否挡住描绘真实公众人物的政治敏感内容(Politically Sensitive Contents, PSC),同时现有越狱又能否在绕过过滤时保住身份,作者认为这两点都尚未被专门处理。

    • 场景:作者称到2025年10月ChatGPT约有800 million每周活跃用户(2025年2月为400 million),网页端使非专家也能生成高保真图像。作者把PSC定义为真实公众人物做出政治敏感行为的图像,并称其可被用于假新闻、选举操纵和冲突宣传。
    • 现有不足:作者称既有文生图越狱主要针对性、暴力或非法内容,靠语义替换或匿名化。政治有害性来自人物、动作、象征与地缘叙事的组合,且必须认出特定公众人物;匿名化会消掉政治含义,详细英文描述又会被过滤器重建并拒绝(Figure 3)。
    • 作者的假设:安全过滤器按语言语境判断政治敏感度,并对高资源语言优化更充分。把实体写成保留身份的描述,再放到地缘上较远、显性争议较低的不同语言中,可使过滤器难以合成一个有害关系。
    • 本文提出:黑盒框架PC²。作者称就其所知,这是首个在主流商用文生图上生成PSC的系统性越狱研究,也是首个此类基准(240条、36位公众人物),并给出分层缓解。
    • 威胁模型:
      • 目标:绕过安全过滤器,生成可用于虚假信息或宣传的PSC。
      • 知识:black-box。无参数、训练数据、过滤器逻辑或梯度,也不能改图像生成后端。
      • 能力:只用公开网页接口(如ChatGPT的gpt-image-1);只能看到拒绝或出图,看不到中间审核或拒绝理由。作者称API常需组织验证,网页更接近实际攻击面。
      • 受害系统:商用文生图;主实验是gpt-image-1经GPT-4o、GPT-5、GPT-5.1网页接口。
  2. What related research exists?

    作者把本文与NSFW文生图越狱及多模态越狱分开,并对比三种替换式基线。

    作者按文生图越狱、多模态越狱和本文基线来定位,并称PSC在越狱文献中受到的注意较少。

    文生图越狱

    • 语义替换与分解:DACA(Deng and Chen, 2023)把有害场景拆成中性片段;PGJ(Huang et al., 2025)用视觉相近、语义较远的说法替换不安全词;SurrogatePrompt(Ba et al., 2024)用语义相关的替代概念替换敏感概念。作者在第2.3节和第4.5节称,这类替换会匿名化人物或破坏政治语义,不适合必须保住身份的PSC。
    • token扰动与再编辑:SneakyPrompt(Yang et al., 2024)用强化学习扰动token以躲开关键词过滤;作者称其CLIP代理奖励在安全表示不对齐(如非CLIP编码器)时迁移可能较差。ColJailBreak(Ma et al., 2024)利用图像编辑模型较弱的安全约束,先生成再局部注入不安全内容。
    • 其他引用:Dong et al.(2024)用基于LLM的智能体越狱文生图;Ma et al.(2025)研究针对扩散模型的可控提示词攻击。论文没有把这两篇当作PSC基线。

    多模态模型越狱

    • 跨模态分散意图:FigStep(Gong et al., 2025)把禁止文本画成图像中的风格化文字;HADES(Li et al., 2024)用对抗扰动嵌入视觉特征;CS-DJ(Yang et al., 2025)把恶意查询拆到多张单独看起来无害的子图;MML(Wang et al., 2025)用可逆变换在文本与图像之间转移有害内容。
    • 作者的区分:作者称这些工作与本文基本正交。它们要引出不被允许的文本;本文要生成被禁止的图像,且只在提示词层使用多语言表示,不把意图分到不同模态。

    过滤器与风险背景

    • 商用过滤:作者称系统常叠关键词黑名单、语义LLM分类或改写,以及针对裸露、血腥等低层视觉模式的图像后过滤(Figure 2)。攻击设计集中在预过滤,依据是先前工作认为绕过预过滤往往就足以越狱。
    • PSC用例:作者用选举与冲突中的伪造影像,以及Allcott and Gentzkow(2017)、Vaccari and Chadwick(2020)等,说明虚假信息风险,而不是作为攻击方法。

    基线与基准

    • 基线方法:均匀随机选语言;DACA、PGJ、SurrogatePrompt。后三者只在物体子集、GPT-4o上对比。作者称没有现成的PSC专用越狱基线。
    • 基准:作者自建240条英文提示词,36位公众人物,物体类121条、短语类119条。

    作者把本文与token扰动和语义替换分开:用身份保持描述加地缘远端多语言,针对按语言语境判断政治敏感度的过滤器。作者称这是首个此类系统性黑盒研究和首个此类基准。

  3. How does the paper address this problem?

    PC²用身份保持描述和四项地缘分数挑选远端语言,再拼装黑盒提示词。

    PC²把含政治实体的提示词改成多语言、间接指称的对抗提示词:图像模型仍能用身份线索,安全过滤器则更难把实体拼成一个有争议的关系(Figure 5)。原型为1484行Python。

    敏感词检测与身份保持映射

    • 两条路径:spaCy的en_core_web_trf做命名实体识别,找出政治人物,再用语言模型推断最相关国家。另一路抽取名词短语,由GPT-4o判断是否与某国或政治、社会敏感话题有关。国家信息只留给后续指标,这一步不改提示词。
    • IPDM:对每个敏感词,GPT-4o写1–2句问答式描述,去掉直接敏感词,保留历史、政治与视觉线索。温度0.2,top_p=0.9。作者给出的理由是躲开关键词预过滤,同时给图像模型重建身份的线索。附录C.C给出了完整提示词。
    • 其余解码:敏感词检测、人物国家识别和翻译的温度均为0.0。

    翻译与四项地缘分数

    • 72种语言:IPDM描述,以及把争议词换成占位符的基础提示词,都译入72种语言(附录C.B),翻译模型为GPT-4o。作者称方法不绑定该模型。回译英文后,与原文余弦相似度低于0.9的译文丢弃。嵌入用text-embedding-3-large。
    • 知识类两项:关键词常识用该词的维基百科段落,与“Conflict with”加国家名的嵌入取最大余弦相似度,再在同一主要语言的国家组内取最大。国家常识方向相反,用关键词嵌入对国家页面段落。作者称两处取最大都是最坏情况假设。知识库可随新短语或新国家扩展。
    • 描述类两项:偏见分数是代表词与该语言IPDM的余弦相似度,越高表示越保住原意。政治分数是译文与单词Politics的余弦相似度,越低表示越不像政治表述。
    • 加权:四项加权求和。权重来自GPT-4o上各指标单独使用、并取中位语言时的攻击表现(Table 2:Keyword 0.6667、Country 0.6167、Bias 0.7500、Politics 0.7333),之后固定并用于全部目标模型。基础提示词本身不算分,语言分由相关IPDM的合成分累加。作者称基础提示词故意中性,只含占位符和动作。

    组装与成功判定

    • 分位而不是最高分:语言按合成分排序。作者在60个样本上比较第0、25、50、75分位,再按目标模型在语义正确和出图之间的表现选下标。论文未写明主实验最终用的是哪一个分位。
    • 拼装:每段IPDM配一个字母,基础提示词中的占位符换成该字母,再与描述列表拼接。作者称这样靠关联而不是点名来推断概念。图中多语言文字在实验里可再要求改成英文后检查;作者称没有继续考察其他语言。
    • 判定:对测试提示词,成功须同时出图、保住政治语义、认出目标人物。形式为ASR=1/N∑i=1N I[Gen(yi)∧Sem(yi,xi)∧ID(yi,xi)]。三者缺一则失败。Sem与ID由人工按两项指南标注。
  4. What experiments did the paper conduct?

    240条原文ASR为0%;PC²在GPT-4o上为86.25%(Table 3)。

    实验设置

    • 接口:GPT-4o、GPT-5、GPT-5.1网页端,图像模型为gpt-image-1。作者称所用为2025年11月12日当时最新模型,并于11月25日复验。辅助评测Nano-Banana Pro;Table 7记录Midjourney、Nano-Banana、GPT、Nano-Banana Pro对36人的支持数。
    • 数据:240条英文提示词,36位公众人物。物体子集121条,短语子集119条。G7分国时排除非G7(Table 4)。
    • 攻击侧:IPDM、翻译和短语敏感性判断用GPT-4o,权重也在GPT-4o上标定。因此攻击GPT-4o时,生成提示词的模型与被测接口相同;GPT-5和GPT-5.1的提示词仍由GPT-4o生成。
    • 基线:均匀随机选语言。DACA、PGJ、SurrogatePrompt只在物体子集、GPT-4o上对比。作者称短语子集含明确政治语句,这些基线无法在不破坏主张的情况下替换。
    • 判定:ASR要求出图、语义保持和身份可识别同时成立。五名标注者。先导用评测集外40张;第二阶段20张的Fleiss' Kappa为0.84,作者称这表示almost perfect agreement。主评测图像均分给五人。论文未写LLM裁判,也未报告主ASR的重复次数,未写明Table 3采用的分位。
    • 补问:若模型给出多种解释且未标明政策违规,作者在同一会话中再次要求按其一条建议出图,并称这通常会出图。论文未报告发生次数。

    主结果

    据Table 3,ASR(%)为:

    接口PC²(全部/物体/短语)随机(全部/物体/短语)
    GPT-4o86.25 / 87.60 / 84.8727.92 / 43.80 / 11.76
    GPT-568.33 / 85.95 / 50.4225.42 / 42.15 / 8.40
    GPT-5.176.25 / 73.55 / 78.9931.67 / 35.54 / 27.73
    • 作者称三个接口上都高于随机选择;短语子集相对随机基线,作者称GPT-4o约有7倍、GPT-5有6倍增益。摘要写up to 86%,Table 3为86.25%。
    • 第1节与贡献列表称,240条原文在三个接口上均被拦截,ASR为0%。
    • 表中GPT-5的短语子集低于同模型物体子集。作者未单独解释这一格,只把短语子集的提升与随机基线对照,并称起作用的是有选择的语言,而不是多语言本身。

    与替换式越狱对比

    • 设置:Figure 9、第4.5节,仅GPT-4o、物体子集。PC²-R为随机选语言的PC²。
    • 结果:DACA的ASR为0%;PGJ为4.96%;SurrogatePrompt为8.26%;PC²-R为43.80%;PC²为87.60%。
    • 作者解读:作者称即使随机选语言,PC²仍高于三种替换式基线,因此主要障碍是替换破坏了PSC语义。作者称87.60%比最好的替换基线高一个数量级;贡献列表同样对照SurrogatePrompt的8.26%。

    语言选择与分国结果

    • 语言:Figure 6中,成功对抗提示词的语言出现次数为GPT-4o 207、GPT-5 164、GPT-5.1 183,合计554。作者称海地克里奥尔语和泰语占全部成功提示词的9.7%和9.2%,丹麦语与匈牙利语各6.1%,老挝语未出现。作者称高翻译成功率与攻击成功并不对齐。附录C.J中,德语、波兰语、瑞典语、斯洛伐克语的TSR高于95%,若干超过98%;一小部分低资源语言低于40%。TSR以回译余弦相似度低于0.9为失败。
    • 分位:Section 3.5用60个样本比较第0、25、50、75分位。Figure 7写明:GPT-4o在第0、50、75分位为73.33%、86.67%、68.33%,作者称呈倒U,75分位常被拒绝,0分位语义弱、易出无关图;GPT-5在第25分位为66.67%;GPT-5.1在第25与第75分位为73.33%与68.33%。作者称合成分与ASR非单调,最优区域随模型变化。
    • G7:Table 4。作者称跨国均值为GPT-4o 86.5%、GPT-5 63.3%、GPT-5.1 74.4%,且排名随模型变化:GPT-4o上日本91.7%(48条),GPT-5上加拿大77.3%(22条),GPT-5.1上英国88.5%(26条)。表中较低的格子包括法国在GPT-5上的45.5%(22条)和德国在GPT-5.1上的50.0%(40条)。作者称没有单一国家主导增益。

    防御评测

    • 文本层:Figure 12的相关语言翻译后,三个接口ASR为18.33%、14.17%、18.33%。作者称仍有14–18%绕过,因为语言对齐了,IPDM改写没有恢复成原政治关键词。
    • 图像层:207张PC²生成的PSC和207张非敏感场景中的政治人物图像(第5.3节)。Table 5:Marqo-NSFW在FPR=5%时TPR为14.50%;Falconsai在FPR=0.1%与1%时TPR为0.00%,FPR=5%时为1.40%;SD safety checker在FPR=1%时TPR为15.46%;LlavaGuard为15.94%(FPR 0%);LlavaGuard-PSC为47.83%(FPR 0.48%)。Table 6:207张上不安全预测为33/207与99/207,后者T11为84。作者称仍漏掉108/207,并归到认不出具体人物、非英文图中文字默认安全、以及把争议口号读成事实陈述。
    • 分层:第5.4节从绕过相关语言翻译的44/240条生成44张,LlavaGuard-PSC再拦16张。累计拦截88.33%(212/240),ASR为11.67%。摘要写降到11%,贡献列表写从86%降到11%。论文未写明这44条属于哪个接口。作者称两层分别处理词汇碎片和图像中的关系,且都无需重新训练。

    其他消融与分析

    • 去掉Bias后,GPT-4o上ASR从86.25%降到77.92%;四项等权为82.08%,低于标定权重的86.25%(Figure 10、Table 3)。作者称Country单独ASR最低,为61.67%(Table 2),去掉后下降相对明显。Figure 10其余柱与标签在纯文本中对不齐,不列数字。
    • Figure 11:作者称原始提示词聚成一簇,对抗提示词形成远离该区域的不同簇,分位变体再散到子区域。纯文本看不到散点位置。
    • Table 8,Nano-Banana Pro的图像生成成功率:原始76.67%(物体66.12%,短语87.39%);加上PC²后85.42%(物体83.47%,短语仍为87.39%)。这不是上文的三项ASR。作者称原始政治提示词常常已经能出图。
    • Table 7:36人中Midjourney不支持17人,Nano-Banana不支持14人,GPT与Nano-Banana Pro为0。
  5. What are some points that can be further explored?

    作者写明主评测限于GPT系接口,且商用版本会变动。

    作者指出的局限与后续方向

    • 主评测在GPT系图像接口上进行;Midjourney和Nano-Banana不支持相当多政治人物,因而这些平台上的政治越狱评测受到限制(第6节,Table 7写明36人中分别有17人和14人不支持)。
    • 商用流水线更新频繁,且无公开版本保证。写作时GPT-5接口已不再公开,gpt-image-1已升级为gpt-image-1.5,观察到的行为可能与最新部署不同(第6节)。
    • 实验用2025年11月12日当时最新模型,11月25日复验。作者认为后续更新可能影响绝对性能,但结果仍能反映当时商用文生图的安全行为(第6节)。
    • 作者称加强提示词侧过滤是缓解的必要步骤,但防御还须处理多语言提示词和保持语义的对抗变换(第6节)。
    • 结论称,稳健的文生图安全不应只做提示词审核,而应在生成前后用情境感知的多模态过滤检测政治风险(第8节)。

    实验覆盖范围

    • 主ASR报告在GPT-4o、GPT-5、GPT-5.1网页端,后端为gpt-image-1;基准为240条英文提示词、36位公众人物、121条物体类与119条短语类(第4.2节、Table 3)。
    • 成功由五名标注者判定。先导40张,其中第二阶段20张的Fleiss' Kappa为0.84;主评测图像均分给五人(第4.3节)。论文未报告主ASR的重复次数,也未写明Table 3使用的语言分位。
    • DACA、PGJ、SurrogatePrompt只在物体子集、GPT-4o上对比。作者称短语子集含明确政治语句,基线无法在不破坏主张的情况下替换(第4.5节)。
    • 防御包括相关语言翻译(Figure 12)、四种开源图像过滤器及LlavaGuard-PSC(207张PSC与207张良性图,Table 5),以及44/240的分层组合(第5.4节)。论文未写明这44条对应哪个接口。
    • 辅助结果为Nano-Banana Pro的图像生成成功率(Table 8),以及Table 7对Midjourney、Nano-Banana、GPT、Nano-Banana Pro的人物支持数。四项权重在GPT-4o上标定后固定(第3.4.5节)。
  6. Summarize the main content of the paper

    PC²在GPT系网页接口上生成政治敏感图像,GPT-4o全部ASR为86.25%。

    PC²是针对GPT系网页文生图政治过滤的黑盒越狱,并附带一个分层缓解。

    • 作者要解决的是:真实公众人物的伪造政治图像可被用于假新闻,而面向NSFW的语义替换要么丢掉身份,要么在详细英文描述下被预过滤拒绝。
    • 方法先把敏感实体改写成保留身份的描述,译入72种语言,再用维基百科冲突关联、国家页面、语义对齐和政治词相似度挑选地缘上较远的语言,以字母索引拼回动作。攻击者只看拒绝或出图。
    • 240条原文在GPT-4o、GPT-5、GPT-5.1上ASR为0%。PC²的全部ASR为86.25%、68.33%、76.25%(Table 3)。物体子集上GPT-4o的PC²为87.60%,SurrogatePrompt为8.26%,DACA为0%。
    • 相关语言翻译后三个接口为18.33%、14.17%、18.33%(Figure 12)。分层过滤后论文报告ASR 11.67%(212/240被拦截);摘要写11%,贡献列表写从86%降到11%。论文未写明这组数字对应哪个接口。
    • 作者的结论是,只审核单一语言提示词不够,生成前后都应做能处理政治关系的过滤。作者同时写明主评测限于GPT系接口,且写作时后端版本已经变化。
Read originalarxiv.org