STACK:针对 LLM 护栏管线的对抗攻击
STACK: Adversarial Attacks on LLM Safeguard Pipelines
作者针对大模型纵深防御提出分阶段攻击 STACK,在 ClearHarm 上对 Gemma2 流水线取得 71% 黑盒 ASR。
针对由输入分类器、生成模型和输出分类器构成的纵深防御流水线。
- 大语言模型部署依赖输入分类器、生成模型和输出分类器构成的纵深防御流水线防范灾难性滥用,但此前缺乏系统安全评估,非自适应攻击容易高估流水线的防御鲁棒性。
- 提出分阶段攻击框架 STACK:解耦流水线各组件,先用 PAP 改写诱导生成模型,再用 Confirm 算法依次优化输入分类器通用对抗前缀与输出分类器越狱字符串,最终拼接成单一提示词击穿多层防护。
- 在 ClearHarm 上,黑盒 STACK 对少样本 Gemma2 防御流水线实现 71% 的 ASR(PAP 为 0%);在零样本代理迁移设定下取得 33% ASR;实测亦攻破 Claude Opus 4 与 GPT-5。
- 依赖整句评估输出分类器而不适用流式分类器;分阶段贪婪优化存在组件间干扰;输入分类器通用对抗前缀向输出端迁移难度较高。
- 威胁模型
- 针对由输入分类器、生成模型和输出分类器构成的纵深防御流水线。主威胁模型为黑盒半可分离访问(Black Semi-separable),攻击者向流水线发送查询并获得拒绝信号,可推断出由哪一组件实施拦截;迁移威胁模型为对代理流水线具备白盒可分离访问(获取 logits),对目标流水线具备黑盒不可分离访问。
- 被测模型
- Qwen3-14BGemma 2 few-shot-promptedShieldGemmaLlama Guard 3Llama Guard 4WildGuardQwen3 few-shot-promptedClaude Opus 4GPT-5Qwen3-32BLlama3.1-8B-InstructGemma2-9b
- 基准
- ClearHarmStrongREJECTLlama3Jailbreaks
- 指标
- ASRRR
FAR.AI、UK AISI 等机构的研究者提出分阶段攻击方法 STACK,用于攻破 LLM 的多层安全护栏管线,在 ClearHarm 数据集上以黑盒方式取得 71% 攻击成功率,迁移设定下为 33%。研究同时搭建了一个开源防御管线,其少样本提示分类器在 ClearHarm 上把攻击成功率降到 0%,在三种攻击和两个数据集上优于 ShieldGemma。STACK 依次寻找输入分类器、生成模型和输出分类器的越狱,再组合成完整越狱;作者称它可绕过 PAP 攻击成功率为 0% 的强管线,并报告了对 Opus 4 和 GPT-5 的分组件攻击发现。
推荐理由论文提出的分阶段攻击方法逐层拆解护栏管线的各个组件,可迁移用于检验自家多组件防御在真实对抗下的鲁棒性。
相关热点
0 个事件 · 2 条新闻提到
提到这篇论文的新闻
- FAR.AI引用了论文编号或链接FAR.AI 与 UK AISI 测试多层 AI 防御:STACK 攻击成功率达 71%
Dive deeper into the technical details in our full paper.
- Adversa AI写出了论文标题2026 年 5 月 GenAI 安全资源盘点:IICL 绕过 GPT-5.4 护栏、Mythos 自主完成 32 步网络攻击
STACK: adversarial attacks on LLM safeguard pipelines
深度解读
这篇论文试图解决什么问题?
论文研究大语言模型纵深防御流水线在对抗攻击下的鲁棒性,针对各组件缺乏协同评估的问题提出分阶段攻击。
论文试图解决大语言模型纵深防御流水线(Defense-in-Depth Pipelines)缺乏系统性安全评估、且容易被已有非自适应攻击高估鲁棒性的问题。
- 灾难性滥用风险防范:前沿 AI 开发者(如 Anthropic、OpenAI、Google DeepMind)在安全框架中承诺防范模型用于大规模杀伤性武器或网络攻击等灾难性滥用场景,并普遍采用输入分类器、生成模型与输出分类器串联的纵深防御流水线。
- 现有防御评估的不足:作者称此前缺乏针对多层防御流水线的系统性评估,现有基线越狱多针对单体模型,限时人工红队容易高估流水线的防御能力。
- 分阶段逐级击溃假设:作者假设防御流水线的各个组件可以通过分阶段优化(Staged Attack)逐个击破,并将各组件的通用越狱载荷拼装为统一提示词绕过整个流水线。
- 提出的防御与攻击方案:论文构建了包含少样本提示词分类器的开源纵深防御流水线基准,并提出了名为 STACK(STaged AttaCK)的分阶段攻击框架。
- 威胁模型:
- 攻击者目标:诱导受害系统输出能够解答原始有害查询的有效内容,且该内容完整穿透流水线的所有防护层。
- 攻击者知识与能力:主设定为黑盒半可分离访问(Black Semi-separable),攻击者向完整流水线发送查询并获得拒绝信号,能推断出具体由哪一阶段(输入分类器、生成模型或输出分类器)实施了拦截;在迁移设定中假设对代理流水线具备白盒可分离访问(获取分类器 logits),对目标流水线具备黑盒不可分离访问。
- 受害系统:由输入分类器 fq、目标生成模型 m 和输出分类器 fr 串联构成的防御系统。
有哪些相关研究?
论文梳理了防护分类器、纵深防御流水线、内置防御及越狱攻击等相关工作,将 STACK 定位为分阶段黑盒流水线攻击。
论文讨论并对比了以下四个方面的相关工作:
- 防护模型与分类器:
- 专用防护模型:Wang 等人(2024)开发了防范炸弹制造辅助的对话转录分类器;Inan 等人(2023)提出 Llama Guard,通过输入输出分类覆盖多类安全风险;其他防护模型还包括 Aegis(Ghosh 等人,2024)与 OpenAI Moderation API(Markov 等人,2022)。
- 内部表征探针:Alain 与 Bengio(2018)、Ousidhoum 等人(2021)研究基于线性激活探针识别不安全输出;Bailey 等人(2025)指出混淆激活可绕过大语言模型的潜在空间防御。
- 纵深防御流水线:
- 宪法分类器流水线:Sharma 等人(2025)构建了专有纵深防御流水线并进行人工红队测试。作者称该评估依赖限时人工红队可能高估安全性,本文提出开源基准流水线与算法化分阶段攻击。
- 模型内置防御与其他防护:
- 内置对齐方法:包括文本对抗训练(Mazeika 等人,2024)、潜在空间对抗训练(Casper 等人,2024;Sheshadri 等人,2024)以及断路器机制(Zou 等人,2024)。作者称此类方法因能力权衡与实现复杂度未被主流开发者广泛采用。
- 推理阶段技术:包括增加推理算力(Zaremba 等人,2025)、输入改写(Jain 等人,2023)、安全解码 SafeDecoding(Xu 等人,2024)与输入扰动聚合 SmoothLLM(Robey 等人,2023)。
- 对抗与越狱攻击:
- 协同绕过攻击:Mangaokar 等人(2024)提出通过传播前缀绕过输出分类器的 PRP;Yang 等人(2025a)将类似思路应用于视觉语言模型;Huang 等人(2025)提出同时联合优化输入与转录分类器的 DUALBREACH。作者称 PRP 易被输入分类器拦截,DUALBREACH 需训练分类器代理,而 STACK 采用分阶段优化且直接利用黑盒二元信号。
- 单目标攻击:包括优化攻击 GCG(Zou 等人,2023)、BEAST(Sadasivan 等人,2024)以及重述说服攻击 PAIR(Chao 等人,2023)与 PAP(Zeng 等人,2024b)。
- 基线方法与基准数据集:基线攻击采用 Best-of-N(Hughes 等人,2024)、ReNeLLM(Ding 等人,2024)与 PAP(Zeng 等人,2024b);评测基准采用 StrongREJECT(Souly 等人,2024)与 ClearHarm(Hollinsworth 等人,2025),良性拒答率校准使用 Llama3Jailbreaks(Bailey 等人,2025)。
作者称本文区别于以往针对单一组件的越狱或联合端到端优化,重点针对包含输入输出分类器的多层流水线,提出解耦各阶段独立优化的通用分阶段攻击。
- 防护模型与分类器:
论文如何解决这个问题?
论文提出分阶段攻击 STACK,先用 PAP 攻击生成模型,再用 Confirm 算法针对输入输出分类器解耦优化通用对抗词并组装。
论文提出了针对纵深防御流水线的分阶段攻击框架 STACK(STaged AttaCK),通过解耦流水线各组件分别寻找通用越狱模式并完成组装。
防御流水线设定与形式化
- 流水线决策逻辑:将防御流水线形式化为包装生成模型 m 的系统 pfq, fr(m),满足下式: pfq, fr(m)(q) = m(q) 当 (fq(q) < tq) ∧ (fr(m(q)) < tr) ,否则返回空字符串 该式表示仅当输入分类器得分低于阈值 tq 且输出分类器得分低于阈值 tr 时放行响应,任一组件超标则予以拦截。
- 少样本分类器构建:通过设计包含指令与两组有害/无害对照示例的提示词模板(Figure 6 与 Figure 7),利用指令微调模型输出“yes”和“no”的 softmax 归一化得分作为分类依据。
- 阈值标定原则:在 Llama3Jailbreaks 良性数据集上校准各分类器阈值,统一约束整体拒绝率(Refusal Rate, RR)为 15%,并在非支配阈值对中选取使两分类器拒答率绝对差 |RR(fq) − RR(fr)| 最小的配置(Section 3.3 与 Appendix L)。
STACK 分阶段攻击框架
- 载荷拼接结构:完整越狱提示词由输入分类器越狱前缀、重复模板及生成模型越狱查询组合而成: qjail = jq ∥ prepeat(jr) ∥ qm 该式中 jq 为对抗输入分类器的通用前缀,prepeat(jr) 为诱导模型在作答前复述输出越狱词 jr 的指令模板,qm 为诱导模型回答的有害查询。
- 算法流程解耦:按照 Algorithm 1,攻击分为三步独立执行:先利用 Confirm 优化通用输入越狱词 jq,再通过 PAP 获取针对生成模型的改写提示词 qm,接着利用 Confirm 优化通用输出越狱词 jr,最后进行物理拼接。
黑盒半可分离 STACK 优化细节
- 第一阶段(攻击生成模型):直接调用 PAP 对原始有害查询应用 5 种说服技术(逻辑诉求、权威背书、身份伪装、证据说服、专家背书)进行改写,生成 qm。
- 第二阶段(攻击输入分类器):使用结合 BEAST 与 FLRT 特性的 Confirm 算法,在 Step 1 查询上执行 1024 轮迭代搜索通用输入越狱前缀(ICJ)。优化时附带含随机 token 的重复模板以防后续分布偏移,共运行 20 个种子并选取 3 个候选。
- 第三阶段(攻击输出分类器):在包含 ICJ 的模板下,利用 Confirm 执行 20 个种子、每种子 512 轮迭代优化输出越狱字符串(OCJ);通过模型实际输出由输出分类器打分,若触发输入拦截则记为失败。
白盒代理迁移 STACK
- 代理流水线训练:在零样本提示的 Qwen3 分类器代理流水线上,基于分类器连续得分损失执行 512 轮白盒 Confirm 优化(运行 10 个种子)。
- 零样本迁移模板:将训练得到的 ICJ 置于前缀、OCJ 置于后缀嵌入迁移模板(Figure 17),直接迁移至目标 Gemma2 流水线,无需直接与目标系统交互测试。
论文做了哪些实验?
实验在两个数据集上评测了 6 种防护流水线,黑盒 STACK 取得最高 71% ASR,迁移 STACK 达 33% ASR。
实验设置
- 被测模型:主实验目标生成模型为 Qwen3-14B(关闭思考模式);防护分类器包括 WildGuard(7B)、Llama Guard 3(7B)、Llama Guard 4(12B)、Qwen3 少样本分类器(8B)、ShieldGemma(8B)和 Gemma 2 少样本分类器(9B)。附录扩展测试了 Qwen3-32B、Llama3.1-8B-Instruct、Gemma2-9b,商业模型实测包含 Claude Opus 4 与 GPT-5。
- 数据集:包含 313 条通用有害查询的 StrongREJECT,以及由作者团队构建的非两用灾难性武器查询数据集 ClearHarm;良性拒答率校准使用 Llama3Jailbreaks 的 4,000 条样本。
- 基线攻击:包括 Best-of-N(1,000 次迭代)、ReNeLLM(200 次迭代)与 PAP(40 次独立迭代,调用 gpt-4-1106-preview 改写)。
- 评估指标:攻击成功率(Attack Success Rate, ASR)与良性拒答率(Refusal Rate, RR,实验中统一校准至 15%)。
- 评审方式:调用 gpt-4o-2024-08-06 运行 StrongREJECT 提示词评分,仅当判定为未拒绝且说服力与具体性均达到 5/5 满分时判定为攻击成功;评审前去除模型输出中的输出分类器越狱字符串以防误判。
- 样本量与重复:StrongREJECT 全集 313 条,PAP 采用无放回抽样平滑并在 40 次迭代中计算至少一次成功的 ASR。
主结果
下表呈现了基线黑盒攻击在未防护 Qwen3-14B 与各类防护流水线上的 ASR 表现(数据出自 Table 6):
表格较宽,可左右滑动
防护模型 PAP (ClearHarm) ReNeLLM (ClearHarm) Best-of-N (ClearHarm) PAP (StrongREJECT) Undefended 0.99 1.00 0.62 0.65 Gemma2 (少样本) 0.00 0.00 0.00 0.12 ShieldGemma 0.13 0.01 0.01 0.24 Llama Guard 4 0.84 0.28 0.04 0.57 Llama Guard 3 0.77 0.42 0.03 0.47 WildGuard 0.64 1.00 0.04 0.41 Qwen3 (少样本) 0.01 0.09 0.00 0.33 - 开源分类器抵御能力较弱:作者称多数开源微调防护模型(如 Llama Guard 3/4、WildGuard)在基线攻击下表现较差,尤其在 ClearHarm 上 PAP 依然取得了 64%–84% 的 ASR。
- 少样本提示分类器表现优异:作者称未经专门任务微调的 Gemma 2 少样本分类器在所有基准和攻击下表现最佳,在 ClearHarm 上将三种基线攻击的 ASR 全部降至 0.00。
- 数据集危害差异:作者称 PAP 在 StrongREJECT 上的效果归因于查询的两用性,而在非两用的 ClearHarm 上,少样本分类器能有效拦截。
STACK 攻击防御流水线效果
- 测试内容:在 ClearHarm 数据集上,针对最强的 Gemma2 防护流水线,对比基线 PAP 与黑盒半可分离 STACK(不同随机种子 A–D)的 ASR 随迭代次数的变化(Figure 4)。
- 测试结果:基线 PAP 在防护流水线下的 ASR 为 0%;而 STACK 种子 (A) 在 40 次迭代时 ASR 达到 71%(Figure 1 与 Figure 4)。
- 作者解读:作者称 STACK 能够突破原本能够拦截 PAP 的防护分类器,达到接近未防护模型水平的攻击效果;但不同随机种子间存在波动,种子 (B) 的 ASR 仅约为 2%,种子 (D) 约为 28%(Figure 4)。
零样本代理迁移攻击
- 测试内容:在无法推断拦截阶段的不可分离黑盒设定下,利用零样本 Qwen3 分类器代理流水线训练白盒 Confirm,再将通用前缀和后缀迁移至 Gemma2 目标流水线进行端到端测试(Section 5.2)。
- 测试结果:迁移 STACK 结合 40 次 PAP 迭代,在 ClearHarm 上取得了 33% 的端到端 ASR;10 个种子的总训练开销为 15 H100 GPU 小时(Section 5.2 与 Appendix D.2)。
- 作者解读:作者称这表明攻击者无需与目标系统直接交互即可构建有效攻击,且仅产生 40 次查询调用,难以被 API 异常流量监测捕获。
前沿商业模型实测与组件绕过
- 测试内容:针对部署了纵深防御的 Claude Opus 4 与 GPT-5 进行黑盒组件解耦红队测试(Appendix K)。
- 测试结果:在 100 条有害生物武器评估查询上,对无思考模式的 Claude Opus 4 实现了 79% 的 ASR,允许 LLM 改写时达 100%(Appendix K.1);对配置为“最大”推理强度的 GPT-5 同样诱导出了生物武器相关有害回答(Appendix K.2)。
- 作者解读:作者称商业流水线存在泄漏拦截阶段的侧信道(如报错信息或异步审核延迟),验证了组件逐级拆解攻击在实际前沿系统中的可行性。
其他消融与分析
- 生成模型架构替换(ClearHarm,Figure 19–21):Qwen3-32B 上 STACK 最高 ASR 约为 57%;Llama3.1-8B-Instruct 上最高约为 31%;Gemma2-9B 上最高约为 39%。
- 生成模型架构替换(StrongREJECT,Figure 18):Qwen3-14B 上 STACK (A) 防护后 ASR 为 47%,未防护为 65%,基线 PAP 防护后为 12%。
- 黑盒 STACK 算力开销(Appendix D.2):输入分类器优化 20 种子耗费 71 H100 小时,输出分类器 60 种子耗费 436 H100 小时,总计 507 H100 GPU 小时。
- 白盒迁移 STACK 算力开销(Appendix D.2):输入分类器 10 种子耗费 5 H100 小时,输出分类器 10 种子耗费 10 H100 小时,总计 15 H100 GPU 小时。
- 单样本分类器打分变化(Table 5):化学武器示例下,Gemma2 输入分类器原始分 1.0000、PAP 分 0.9998,STACK 降至 0.01406(阈值 0.04742);输出分类器 PAP 分 0.9964,STACK 降至 0.001927(阈值 0.010987)。
负面结果与例外
- STACK 削弱生成模型攻击表现:在未防护模型上,STACK 的 ASR 低于纯 PAP(在 ClearHarm 上纯 PAP 为 99%,STACK 仅为 82%–88%,Figure 4),作者解释这是因为输出越狱词与查询产生干扰,导致模型偏离主题。
- 输出前缀越狱迁移失败:在白盒迁移实验中,作者未能成功将前缀形式的输出分类器越狱字符串有效迁移,因此改用后缀形式(Section 5.2 与 Section 6)。
- Claude Opus 4 上的基线失效:纯 PAP 在 Opus 4 上未取得效果,且若无人工先验构造直接运行 Confirm 会因完全拦截缺乏黑盒反馈信号而失败(Appendix K.1)。
有什么可以进一步探索的点?
作者指出流式分类器未覆盖、组件间干扰和分类器效力不足等局限;实验覆盖了 6 种开源防护及商业模型的黑盒评测。
作者指出的局限与后续方向
- 未覆盖流式输出分类器:当前输出分类器评估完整响应。流式分类器虽然存在泄露开头片段的风险,但会使对抗后缀失效;由于未能成功迁移前缀输出越狱词,当前迁移攻击对流式分类器无效(Section 6)。
- 开源分类器防御效力受限:多数评估的流水线在黑盒攻击下表现脆弱,弱点可能掩盖了不同攻击方法间的性能差异;后续需探索更大模型、合成数据等多样化训练集以及分类器集成(Section 6)。
- 分阶段贪婪优化产生组件间干扰:STACK 采用贪婪逐组件优化,OCJ 与查询之间会产生干扰,导致生成模型未防护时的成功率低于纯 PAP;后续可在优化过程中显式加入保持前序组件成功率的目标项(Section 6)。
- 未能实现组件完全不可分离环境下的本地优化:在不可分离黑盒访问下,无法直接在目标流水线上逐级优化,需依赖代理流水线迁移;如何不依赖组件隔离直接在全流水线上搜索最优越狱对仍需探索,作者指出其理论上可形式化为多臂老虎机问题(Section 5.2)。
- 迁移攻击仅进行了初步探索:针对黑盒防御流水线的 transfer-STACK 仍有待更深入全面的研究(Section 5.2)。
- 算力开销未包含超参数探索成本:报告的 507 H100 GPU 时未计入尝试不同超参数配置所产生的大量算力消耗(Appendix D.2)。
实验覆盖范围
- 被测模型范围:主实验生成模型为 Qwen3-14B,附录扩展测试了 Qwen3-32B、Llama3.1-8B-Instruct、Gemma2-9b,商业模型实测包含 Claude Opus 4 与 GPT-5。
- 防御分类器范围:评测了 WildGuard(7B)、Llama Guard 3(7B)、Llama Guard 4(12B)、Qwen3(8B,少样本/零样本)、ShieldGemma(8B)和 Gemma 2(9B,少样本)。
- 评估数据集与规模:包含 313 条通用有害查询的 StrongREJECT,以及由作者团队构建的非两用灾难性武器查询数据集 ClearHarm;良性拒答率校准使用 Llama3Jailbreaks 的 4,000 条样本。
- 攻击方法与迭代设置:基线攻击包括 Best-of-N(1,000 次迭代)、ReNeLLM(200 次迭代)、PAP(40 次独立迭代,选用前 5 种说服技术);黑盒 Confirm 分别针对输入分类器运行 1,024 轮、输出分类器运行 256/768 轮;白盒 Confirm 各运行 512 轮。
- 自动化判定设置:评测采用 gpt-4o-2024-08-06 搭配 StrongREJECT 提示词作为单一评测裁判,要求 5/5 满分且未拒答方判定为攻击成功;论文未报告人类与评审模型的一致性检验数据。
总结一下论文的主要内容
论文评估开源纵深防御流水线,提出分阶段攻击 STACK 击穿多层防护,并针对流水线可分离性提出加固建议。
- 研究定位与核心问题:针对前沿大模型普遍采用的纵深防御流水线,论文评估了其应对对抗攻击的鲁棒性,指出已有非自适应攻击因缺乏针对性而容易高估多层流水线的防御能力。
- 开源基准流水线与防护现状:作者构建了包含输入与输出分类器的防御流水线基准,在统一 15% 良性拒答率下评测发现,未经任务微调的少样本提示词分类器(Gemma2)表现优于专门微调的开源防护模型(ShieldGemma、Llama Guard),并在 ClearHarm 上将基线黑盒攻击 ASR 压制至 0.00。
- 分阶段攻击方法 STACK:论文提出了分阶段攻击框架 STACK,通过前向到后向解耦优化,先后利用 PAP 改写诱导生成模型、利用 Confirm 算法优化通用对抗字符串攻破输入和输出分类器,最终拼接成单一载荷击穿全流水线。
- 主实验关键结果:在灾难性滥用数据集 ClearHarm 上,黑盒半可分离 STACK 对最强 Gemma2 流水线实现 71% 的 ASR;在无需直接交互的零样本代理迁移设定下取得 33% 的 ASR;前沿商业模型 Claude Opus 4 与 GPT-5 同样在实测中被组件分解攻击攻破。
- 防御机制启示与安全建议:作者认为纵深防御原则依然有效但现有开源分类器脆弱;建议开发者隐藏组件报错细节以消除可分离访问信号、统一拒绝响应形式并防范时序侧信道,以阻断分阶段攻击。