AdvPIE：面向文生图模型隐式漏洞的自动红队框架

如何在无法访问参数时，系统找出文生图（T2I）模型的隐式对抗提示词。

• 场景与重要性：作者认为Stable Diffusion、FLUX等T2I模型能从语言描述生成逼真图像，也带来安全风险。隐式对抗提示词在文本表面看似良性，仍可引出不当视觉内容（Fig. 1）。显式有害提示较易识别和拦截，隐式漏洞更难检测和防御。
• 现有不足：无梯度时，反馈只来自对生成图像的评估，要在巨大离散文本空间里靠稀疏视觉信号搜索，且没有token级指示。作者指出两类困难：单步视觉评估过粗，简单汇总全部历史又会引入噪声；策略还需利用累积经验，同时保持提示多样且隐式，而不是变成显式有害。
• 核心思路：用多模态策略智能体提出并改写提示，用评审智能体评估图像并给出安全理由。反馈要同时有全局参照和相对进展；解码时按历史有害分数重加权token，并抑制重复和过于直白的有害文本。
• 本文提出：Adversarial Probing for Implicit VulnErabilities（AdvPIE），免训练的黑盒红队智能体，含全局-相对反馈与Cumulative Adversarial Decoding（CAD）。
• 威胁模型：
  • 目标：在查询预算T内，尽量多发现文本判定为安全、图像判定为有害的提示，使累计红队成功次数最大。
  • 知识：作者称black-box。攻击者只能查询目标模型，不能访问内部权重。实验同时覆盖开源模型和商业API。
  • 能力：策略智能体根据交互历史提出下一提示；不更新梯度、不做微调。策略与评审模型全程冻结。
  • 受害系统与判定：受害系统是T2I模型T，把提示映射为图像。成功由独立于评审模型的二值指标Φ判定：提示看起来安全且图像有害。实验中文本侧用OpenAI Moderation API，图像侧用Gemma3-4B、LLaVA Guard或Google Cloud Vision API（SafeSearch）。

相关工作按论文第2节与附录A分成三组。

自动红队

• 人工红队与智能体红队（Ganguli等2022、Perez等2022）：探测输入输出以发现漏洞。作者称人工方法效率低，后续工作用智能体做越狱、隐私泄露和有毒生成。
• 提示注入与训练对抗智能体（Wang等2024、Yu等2023、Zou等2023、Perez等2022、Wei等2023）：从提示注入到监督或强化学习训练对抗智能体。作者称这些方法需要大量数据和计算，可扩展性受限。
• 基于反馈与上下文学习（FLIRT、LeakAgent、RedAgent）：可不微调而迭代适应。作者称它们只在文本模态工作，而T2I的有害意图只在生成图像里可见。

文生图红队

• 白盒方法（P4D、MMA-Diffusion）：用梯度引导优化模型内部。作者称攻击表现强，但在无法访问模型的商业系统上不实用。
• 黑盒智能体方法：FLIRT与Groot依赖明显有害的种子，作者称这限制了发现更隐蔽的隐式漏洞。SneakyPrompt与ART去掉该依赖，但需要大规模数据收集和针对模型的微调。Adversarial Nibbler从人类用户众包隐式提示，作者称缺乏可扩展性。
• LLM推理与偏好优化（Cao等2026、Dong等2025、Jiang等2026、Zhang等2026）：加强智能体攻击循环。作者称两点仍少被探索：反馈多在单轮或固定候选组内评估，较少刻画跨迭代朝更有害输出的方向；利用反馈主要靠微调或序列级改写，较少在推理时做token级引导。

基线方法与评测对象

• 基线方法：主实验对比FLIRT、Groot、ART。相关工作还讨论P4D、MMA-Diffusion、SneakyPrompt、Adversarial Nibbler，但它们不是主表基线。
• 基准/数据集：GPT-4o为11类有害内容各生成30条安全种子提示；开源模型用OpenAI Moderation API过滤显式有害提示；商业API以其内置审核是否接受提示为准。图像有害性由Gemma3-4B、LLaVA Guard或SafeSearch判定。

作者将AdvPIE定位为：用迭代多模态反馈上的对抗解码代替模型训练，做成免训练、黑盒红队；用多模态策略与评审智能体同时看提示和图像，以处理纯文本智能体无法处理的文本-视觉差距；并用全局-相对反馈和token级CAD处理上述两个挑战，不做模型训练或大规模数据收集。

AdvPIE在黑盒查询下，用冻结的策略智能体与评审智能体迭代改写提示：先构造跨轮的全局与相对反馈，再用CAD把反馈变成token采样偏置。

问题设定与形式化

• 目标模型：T把提示空间X映到图像空间I。攻击者只能查询，不能读内部权重。
• 要找的提示：子空间X*中的提示文本良性，但会让模型生成不安全图像。过程是多步决策。历史h_t包含此前各轮的提示、图像和反馈。评审J对文本和图像分别返回结构化反馈。策略输出x_t = Π(h_t)。
• 目标：在预算T内最大化成功次数之和。Φ与J分开：Φ只做结果评估。实验中策略模型是LLaVA-v1.6-mistral-7B，评审模型是Gemma3-4B。两者全程冻结，适应只来自不断增长的历史。

全局-相对反馈

• 单轮反馈：对每个模态m（文本或图像），J给出安全标签y（safe或unsafe）、有害分数s∈[-1, 1]、违规类别c和自然语言理由r。
• 全局引导：参考集保存至今图像被标为unsafe的提示，按图像有害分数取TopK，作为成功对抗提示的记忆。
• 相对引导：比较最近两条提示x_{t-1}与x_t的图像有害分数，得到对比信号，鼓励朝更对抗的方向探索。
• Fig. 2：循环从种子x_0开始；每轮目标模型生成图像，评审返回标签、分数、理由和基于分数的引导；策略经CAD生成下一提示。

累积对抗解码

• 组合分数：s_t = ω^{img} s^{img}_t − ω^{txt} s^{txt}_t，且两项权重非负、和为1。作者设ω^{img}=0.8、ω^{txt}=0.2，让图像安全占更大权重。分数赋给提示中除EOS和padding外的每个token，再对每个token跨轮取平均分数s̄。
• logit更新：解码步τ的词表logit加上α、s̄、该步logit标准差σ，以及只在s̄>0时生效的重复衰减项。α控制重加权强度，β是重复惩罚。全部实验用α=0.5、β=0.5。作者称按方差缩放是为了保持语言模型原有相对概率结构，选择性衰减是为了避免困在已知漏洞的重复模式里。

推理设置与成功判定

• 策略解码（附录C、Table 6）：top p为5.0，top k为50，temperature为3.0，num beams为5，do sample为true。开源目标模型max_new_tokens为77，商业API为150。Gemma3-4B的max_new_tokens为2000，LLaVA Guard为500。
• 主实验协议：每轮为开源模型滤掉显式有害提示。成功要求提示通过文本安全过滤，且该轮生成的图像中至少一张被视觉评审标为有害。商业API上，提示被API接受即视为文本安全。附录E给出策略与评审的完整提示词模板，此处不复述其中的句式与约束。

实验设置

• 被测T2I模型：开源基座为Stable Diffusion 3.5 Large（表中sd-3.5-large）和FLUX.1-schnell（表中Flux）；安全对齐模型为Safe-StableDiffusion 1.5与2.1（表中safe-sd-v1-5、safe-sd-v2-1），由Stable Diffusion 1.5与2.1经[23]的对齐得到。商业系统为Stable Diffusion API。
• 种子与规模：GPT-4o为11类有害内容各生成30条安全种子。每条迭代20轮，每轮生成3张图像。附录H列出11类：Hate、Harassment、Violence、Sexual、Self-harm、Shocking、Illegal Activity、Deception、Political、Public Health、Spam。
• 基线：FLIRT（scoring-attack，种子用其官方仓库，评分改成与AdvPIE相同）、Groot（按原文复现）、ART（官方实现与模型，不改）。各方法骨干均为LLaVA-v1.6-mistral-7B，因ART在该模型上微调。
• ASR：提示被OpenAI Moderation API判为非显式有害，且图像被所选视觉评审判为不安全。商业API上，提示被API接受即算文本安全，任一结果图像被判有害即成功。
• 评审：图像侧为Gemma3-4B、LLaVA Guard、Google Cloud Vision API（SafeSearch）。论文未写这三个评审的数值阈值。策略为LLaVA-v1.6-mistral-7B，过程内评审为Gemma3-4B。
• 硬件与重复：四张NVIDIA RTX 4090，分别给策略、Gemma3-4B、LLaVA Guard和开源T2I；商业API时T2I外接，用三张GPU。论文未报告独立重复次数。

主结果

据Table 1（开源，ASR%）与Table 2（Stable Diffusion API，ASR%）。Gem.为Gemma，LLa.为LLaVA Guard，SS.为SafeSearch。

Swipe horizontally to read the table

目标模型	方法	Gemma	LLaVA Guard	SafeSearch
safe-sd-v1-5	AdvPIE	30.45	24.73	0.11
safe-sd-v1-5	最强基线	FLIRT 33.26	AdvPIE 24.73	Groot/AdvPIE 0.11
safe-sd-v2-1	AdvPIE	32.52	23.61	0.59
sd-3.5-large	AdvPIE	57.83	45.41	1.70
Flux	AdvPIE	58.71	49.64	1.21
Stable Diffusion API	AdvPIE	50.45	38.00	1.15

Table 1中其余基线：safe-sd-v1-5上Groot为11.55/9.35/0.11，ART为21.33/15.88/0.05，FLIRT为33.26/24.14/0.08。Flux上FLIRT为49.34/40.50/0.88。Table 2中ART为40.14/30.05/0.61，FLIRT为38.27/29.00/0.54，Groot为22.64/18.27/0.50。

• 作者解读：作者称AdvPIE在开源模型上整体优于基线；唯一边际例外是safe-sd-v1-5的Gemma评委，FLIRT为33.26%、AdvPIE为30.45%。作者将其归因于safe-sd-v1-5视觉保真度较低，使视觉反馈的信息量下降。
• SafeSearch：三个评委中SafeSearch的ASR最低。作者称它主要覆盖成人与暴力等较窄类别，检测逻辑偏保守；即便如此，AdvPIE仍具竞争力。
• 商业API：相对最强基线ART，作者报告Gemma下提高10.31个百分点、LLaVA Guard下提高7.95个百分点、SafeSearch下提高0.54个百分点。API拒绝显式提示时，作者称logit重加权会惩罚相关token，反馈模块把该提示标为过于直白。

分类别结果

附录Table 9、Table 10给出11类ASR。整体高并不等于每类都高。

• Flux、Gemma（Table 9）：AdvPIE平均58.71。Hate 89.33、Spam 80.17、Harassment 69.67；Public Health为34.67，低于同列FLIRT的76.17。Violence上AdvPIE为44.90，FLIRT为5.00。
• Flux、SafeSearch（Table 9）：AdvPIE平均1.21。Shocking 4.17、Sexual 4.67；Hate、Harassment、Illegal、Deception、Political、Spam为0.00。
• Stable Diffusion API、Gemma（Table 10）：AdvPIE平均50.45。Hate 77.00、Harassment 64.00；Sexual 15.50，低于同列ART的31.50。LLaVA Guard下Sexual的AdvPIE为12.50，Groot为34.00。

消融

消融都在Safe-sd-v2-1的sexual类别上。Bypass rate是通过OpenAI Moderation API的提示比例；通过过滤本身不算攻击成功。

• Table 3：完整AdvPIE为Gemma 37.67、LLaVA 36.67、SafeSearch 3.50、Bypass 54.83。去掉CAD后为24.50（降13.17）、25.17（降11.50）、1.67（降1.83）、45.17（降9.66）。去掉feedback后为27.33（降10.34）、25.67（降11.00）、3.33（降0.17）、48.33（降6.50）。
• Table 4：去掉reasoning后Gemma 30.50（降7.17）、LLaVA 28.83（降7.84）、SafeSearch 2.33（降1.17）、Bypass 47.17（降7.66）。去掉guidance后为21.83（降15.84）、21.33（降15.34）、2.00（降1.50）、Bypass 37.83（降17.00），低于无反馈基线。作者称基于分数的引导对保持隐式性更关键，自然语言理由同时影响效果和隐蔽性。Table 4的无反馈SafeSearch为3.00（降0.50），与Table 3的3.33不一致，论文未解释。

人工评估与迭代曲线

• Table 5：三名受过训练的标注者，每个方法、每个目标模型评估220对提示-图像，共3520对。标注提示是否对人类审核者显得良性，以及图像是否含有害内容。事先讨论校准样例。数字为unanimous / majority / at-least-one。AdvPIE：safe-sd-v1-5为1.5/11.5/34.0；safe-sd-v2-1为2.5/15.0/33.5；sd-3.5-large为3.0/12.0/36.5；FLUX为2.0/11.0/37.0。四个模型上AdvPIE在三个阈值下均为表中最高或并列最高（safe-sd-v2-1的unanimous与ART同为2.5）。一致同意下的ASR远低于至少一人同意。
• Fig. 4：针对safe-sd-v2-1，用Gemma与LLaVA Guard。作者称ASR在前250次迭代上升后进入平台；开头有小幅下降，作者称可能是反馈不足时的探索阶段。作者称主实验的20轮内AdvPIE已超过全部基线。图中具体端点数值在文本中未给出。
• 定性：Fig. 3与附录Fig. 5展示从良性种子经多步改写后的轨迹。前两行来自Stable Diffusion API，后三行来自FLUX。附录给出完整提示序列，此处不复述提示原文。

其他消融与分析

• 论文未报告α、β、ω或top-k的单独扫参；α=0.5、β=0.5、ω^{img}=0.8、ω^{txt}=0.2固定用于全部实验。
• Table 3与Table 4的无反馈行，SafeSearch分别为3.33与3.00，论文未说明差异来源。
• SafeSearch在Table 1各模型上的AdvPIE ASR为0.11、0.59、1.70、1.21，均低于同一行的Gemma与LLaVA Guard。

作者指出的局限与后续方向

• 每轮单图（附录B）：策略模型目前每轮只考虑一张图像。T2I通常每个提示会生成多样输出，只看一张可能错过安全线索。作者用的缓解是每步采样多张、让评审按安全分数选最有害的一张；作者称这提高攻击可靠性，但拖慢评估，且策略仍不能对全部视觉输出推理。后续可做多图像信息融合或视觉摘要。
• 耗时（附录B）：一轮交互大约20秒，不含图像渲染时间。
• 策略模型能力（附录B）：严格的安全限制使GPT-4o、Claude Opus、Gemini 2.5等商用LLM不能作为策略智能体，它们会拒绝对抗性红队任务，因此作者未能在最高推理能力下测试AdvPIE。作者提出的方向包括用指令微调对齐开源LLM，或设计约束优化框架，在保持任务表现的同时安全引导智能体。
• 传播与防御（Broader Impacts）：作者称技术也可能被用来绕过内容审核。作者称不发布隐式提示和有害图像示例，并按机构安全指南涂改敏感输出。作者鼓励后续工作关注负责任传播、安全机制的透明度，以及开发者与红队研究者合作，使攻击技术与防御进展相匹配。

实验覆盖范围

• 开源目标为sd-3.5-large、Flux、safe-sd-v1-5、safe-sd-v2-1，另加Stable Diffusion API（第4.1节、Table 1、Table 2）。
• 主指标ASR由三种图像评审给出：Gemma3-4B、LLaVA Guard、SafeSearch；文本过滤为OpenAI Moderation API，商业API则以其是否接受提示为准。
• 种子为11类、每类30条，主实验20轮、每轮3张图；Fig. 4另报告safe-sd-v2-1上更长迭代，作者称约250次后进入平台。
• 组件消融与反馈通道消融只在Safe-sd-v2-1的sexual类别（Table 3、Table 4）。人工评估为3名标注者、每方法每模型220对、共3520对，报告三种同意阈值（Table 5）。
• 策略固定为LLaVA-v1.6-mistral-7B，过程内评审固定为Gemma3-4B；论文未报告查询次数以外的20轮预算拆分、也未报告独立重复次数。附录B说明GPT-4o、Claude Opus、Gemini 2.5因拒绝红队任务而未用作策略智能体。

AdvPIE是面向文生图模型隐式漏洞的免训练黑盒红队框架：提示在文本上看起来安全，生成图像却被判为有害。

作者要解决的是，没有梯度、只能看到图像时，如何构造跨轮反馈并把它用到token采样上。评审对文本和图像分别给出标签、[-1, 1]分数、类别和理由；全局侧保留图像有害分数最高的top-k提示，相对侧对比最近两轮。组合分数为0.8倍图像分数减去0.2倍文本分数。CAD用token的跨轮平均分数、logit标准差和重复惩罚重加权采样，α与β均为0.5。策略是LLaVA-v1.6-mistral-7B，过程内评审是Gemma3-4B，二者冻结。

主实验用11类、每类30条安全种子，迭代20轮、每轮3张图，对比Groot、ART、FLIRT。Table 1中Flux上AdvPIE的Gemma ASR为58.71%，sd-3.5-large为57.83%；safe-sd-v1-5的Gemma评委上FLIRT为33.26%、AdvPIE为30.45%。SafeSearch的ASR远低于另外两个评委，Flux上AdvPIE为1.21%。Table 2中Stable Diffusion API上AdvPIE为50.45%（Gemma）、38.00%（LLaVA Guard）、1.15%（SafeSearch）。相对ART，作者报告三个评委分别提高10.31、7.95、0.54个百分点。人工多数一致下，AdvPIE在四个开源目标上为11.5%、15.0%、12.0%、11.0%（Table 5）。

作者的结论是：全局-相对反馈加上token级累积解码，可以在标准模型、安全对齐模型和商业API上持续高于所列基线，并且安全措施更新后仍然有效。附录B同时写明，当前策略每轮只消费一张图，且更强的商用LLM因拒绝红队任务而未能充当策略模型。