CASCADE 研究：跨流水线阶段的越狱防御组合评估

现有越狱防御分别作用在流水线的不同阶段，但缺少在一致威胁模型与指标下、对阶段内和跨阶段组合的系统比较与部署建议。

• 场景：作者称 LLM 已用于对话、代码生成和自动评分，ReAct 式工具使用与个性化助手把自主性扩展到代码执行和 shell 命令；OWASP（2024）把 prompt injection 列为首要威胁，jailbreak 是其中明确要绕过安全措施的一类，后果从有害生成到未授权命令执行。作者还引述一起针对已部署系统安全失败的诉讼，认为风险已不再只是理论问题。
• 现有不足：作者归纳三个缺口。（1）实验设置差异大，缺少统一指标，标准化基准和实证工作仍难公平比较（Chu et al., 2025; Chouldechova et al., 2025）。（2）已有研究多给高层洞见，未给出具体部署建议，也没有考察防御应如何组合（Shen et al., 2025; Wang et al., 2026）。（3）阶段内与跨阶段组合尚未被系统研究；防御只被单独评测。
• 核心观察：作者认为没有单一防御普遍有效，但适当组合可以在较小效用损失下取得较高安全性；直接、黑盒、单轮越狱是更受限的基础情形，其中有效的技术在更宽松设定中仍然适用，因此适合给出可操作的防御建议。
• 本文提出：作者提出 CASCADE，一个分四步的决策框架：统一 ASR 表述、受控查询预算和显式公平规则，用于在阶段内和跨阶段筛选防御组合，并给出面向安全、效用与效率的推荐。实验覆盖 19 种攻击和 15 种防御。作者称这是据其所知对防御组合的首次系统研究，并计划开源代码。
• 威胁模型：
  • 目标：一次对抗性提示词试图绕过黑盒 LLM 的安全措施；用户本人就是攻击者，提交恶意提示词，而不是通过外部注入内容。
  • 知识：black-box，攻击者只有对目标 LLM 的查询访问，能看到文本输出，看不到权重、梯度或 logits。白盒方法只以可迁移提示词纳入。
  • 能力：single-turn，一次查询内成功，不利用对话历史或多轮升级；各攻击假定相同攻击者能力，并按子类施加相同的目标 LLM 查询预算。
  • 受害系统：目标 LLM 及其三层可部署防御（input guard、input modification、output guard）。不在范围内的是 training、inference 和 output refinement。

攻击分类

• 白盒可迁移攻击：Yi et al.（2024）把攻击分为白盒与黑盒。GCG 用代理模型梯度优化通用后缀以引出肯定回答（Zou et al., 2023）；同类还有 AmpleGCG、I-GCG、DSN、Adaptive。它们需要模型内部信息，超出本文威胁模型，作者只纳入其产生的可迁移提示词。
• 黑盒模板攻击：用输出风格约束（Wei et al., 2023）、虚构人设（Shen et al., 2024）或结构化格式（Liu et al., 2025b; Saiem et al., 2025）。CodeAttack 把恶意请求伪装成代码补全（Ren et al., 2024）。Figure 2 还列出 Prefix、Refusal、Wiki、DAN、DevMode、AIM、Flip、MultiJail、SeqBreak。
• 黑盒 LLM 攻击：由红队 LLM 自动生成提示词。TAP 用攻击者与评估 LLM 做分支—评估—剪枝（Mehrotra et al., 2024）；同类有 PAP、ReNeLLM、GPTFuzzer。多轮对话（Russinovich et al., 2025）和基于 LLM 的智能体（Andriushchenko et al., 2025b）被作者明确排除在范围外。

防御阶段

• 六阶段分类：作者沿用 Chen et al.（2025）与 Wang et al.（2026）的阶段划分。范围内是 input guard（困惑度 Jain et al., 2023；WildGuard Han et al., 2024；PromptGuard Meta, 2025）、input modification（安全系统提示 Xie et al., 2023；RPO Zhou et al., 2024；DPP Xiong et al., 2025）和 output guard（LlamaGuard Inan et al., 2023；GuardReasoner Liu et al., 2025a）。
• 范围外阶段：training 包含数据清洗与训练后安全对齐（Wang et al., 2025）；inference 在推理时检查安全相关梯度或引导解码（Xie et al., 2024; Xu et al., 2024a）；output refinement 用辅助 LLM 检查、改写或拒绝输出（Wang et al., 2024）。WildGuard 等输入守卫也可用于输出阶段。

评测指标与数据集

• ASR 的三种实例：ASRavg 对每个目标的 N 次尝试取平均（Zou et al., 2023）；ASR@N 只要 N 次中有一次成功即算该目标被攻破（Zhou et al., 2025）；ASRensemble 只要 V 个变体中有一个成功即算攻破（Ding et al., 2024）。作者认为不同实例会造成不公平比较（Chouldechova et al., 2025）。
• 评审与数据：早期关键词规则评审误判多；LLM 评审包括 GPT-4 evaluator（Qi et al., 2024）、HarmBench judge（Mazeika et al., 2024）、ShieldLM（Zhang et al., 2024）和微调 RoBERTa（Xu et al., 2024b），仍有假阳性与假阴性。多数投票（Zhou et al., 2025）被提出，但作者称尚无策略明确最符合人类判断。数据集方面，AdvBench（Zou et al., 2023）有重复条目（Chao et al., 2024）；另有 HarmBench 与 JBB-Behaviors。效用方面，AlpacaEval 报告长度控制胜率（Dubois et al., 2024）；XSTest（Röttger et al., 2024）与 OR-Bench（Cui et al., 2025）评测靠近安全边界的过度拒绝。

实证基线与本文定位

• 基线研究：Xu et al.（2024b）评测 9 种攻击和 7 种防御。PandaGuard 在实现的 12 种防御中评测 19 种攻击对 9 种防御，结论是没有普遍最优防御（Shen et al., 2025）。Security-Efficiency-Utility 框架在 9 种攻击和 9 种护栏防御上得到同一结论（Wang et al., 2026）。AISafetyLab（Zhang et al., 2025）和 TeleAI-Safety（Chen et al., 2025）扩大覆盖。这些工作都只单独评测防御。
• 定位：作者称这些研究一致发现没有普遍最优的单一防御，但组合仍未被系统评估；CASCADE 用统一指标、标准化设置和公平规则补上阶段内与跨阶段组合，并给出分层流水线的实用推荐。

CASCADE 用四个顺序过程（P1–P4，Figure 1）逐步缩小攻击与防御集合：先选有代表性的攻击，再按阶段筛掉效用损失过大的防御，然后让攻击代表对抗阶段配置，最后组合跨阶段配置。作者称这套规则是一套可按用途改写的公平筛选程序，理由见附录 B。

问题设定与指标

• 流水线：Figure 3 把防御分成六阶段，实验只做最易部署的三阶段。input/output guard 的 {.} 表示任一守卫可触发拒绝；input modification 的 ⇒ 表示按顺序施加改写。WG 与 Mod 同时出现在阶段 (2) 和 (6)。
• 成功指标：越狱效果用 ASR@max_q，它合并 ASR@N 与 ASRens。每个子类固定最大查询预算，变体更多的攻击重复次数更少：

ASR@max_q=∑_d max_n,v[I(Q_d,n,v)]/|D| 其中 I 由评审给出，1 为成功越狱。

• 效用与聚合：效用是 AlpacaEval 的长度控制胜率 WinRateLC(m, b)，长度项设为 0。%↓ASR 是各攻击代表上 ASR@max_q 相对降幅的平均；%↑U 是各目标 LLM 上效用相对变化的平均。两者被同时追求，作者认为二者存在固有权衡。效率用参数量 |Θ|=∑θ_i 和额外延迟 ΔT=T′−T。

P1–P2：初筛

• 攻击：按相似性把攻击分成子类，在目标 LLM 上比较 ASR，每子类选有效攻击作代表。公平规则是：所有攻击具有相同攻击者能力，同一子类使用相同查询预算。
• 防御：按阶段分组。阶段内比较单个防御和组合的效用，用 top-k 效用排名去掉效用下降不可接受的配置。P2 的 k=4，并按所用防御个数分组。DPP 与 RPO 都追加优化过的防御后缀，因此不含二者同时出现的组合。

P3–P4：对抗与组合

• 阶段内对抗：每个阶段用攻击代表测试已选防御，查询预算与 P1 相同。选择依据是 ASR 降幅、效用保持和显存的平衡；Table 2 按 security、utility、memory 给出每阶段的推荐配置。
• 跨阶段：对阶段推荐做组合，先在每种组合规模内按 %↑U 做 top-k（本文 k=4，覆盖二阶段和三阶段），再用攻击代表测 %↓ASR，并在基准硬件上测 ΔT。最终按安全关键、效用敏感、显存受限三种场景推荐。

实现与判定

• 架构：Figure 4 中 Builder 按配置文件连接攻击、防御和目标 LLM 节点；共享状态记录提示词、回复、拒绝状态和评测结果；Judge 给最终回复打分。
• 数据与评审：越狱用 JBB-Behaviors（100 个恶意目标）配 HarmBench judge。效用用 AlpacaEval，评审为 Llama-3.1-70B-Instruct。
• 生成设置：所有评审以及效用评测中的 LLM 生成使用 temperature 0 和固定 seed；重复越狱尝试中目标 LLM 的 temperature 为 1。max_new_tokens 对非推理模型为 2048，对推理模型为 4096。目标 LLM 关闭 reasoning，以在相同生成条件下看基础安全行为。附录 A.3 给出完整细节。

实验设置

• 目标模型：全文共九个开源与专有模型（Table 7）。P1 用 Vicuna、Llama2、Llama3、GPT-3.5、GPT-4o、Claude-sonnet-4。P2 效用用 Llama3、Gemini-2.5-Flash、GPT-4o。P3/P4 的 ASR 用 Vicuna 与 GPT-3.5，效用仍用上述三个较新模型。泛化实验用 GPT-5.4-mini 与 gemini-3.1-flash-lite。
• 攻击与防御：19 种攻击分五类子场景（Figure 2、Table 5），15 种防御覆盖三个阶段（Figure 3、Table 6）。P1 选出 Adaptive、DSN、Refusal、SeqBreak、ReNeLLM。人设类因在 GPT-4o 与 Claude-sonnet-4 上低于基线而被排除。
• 数据与指标：越狱为 JBB-Behaviors 的 100 个目标，指标 ASR@max_q 与 %↓ASR。效用为 AlpacaEval 的 WinRateLC 与 %↑U。效率为 |Θ| 与 ΔT。泛化还报告 HarmBench 上的 ASR 和 XSTest 上的 FPR。
• 评审与预算：越狱评审为 HarmBench judge；效用评审为 Llama-3.1-70B-Instruct。Table 1 的子类查询预算为：白盒可迁移 15、输出风格 5、人设 5、伪装 36、LLM-based 80。Baseline 是普通恶意字符串。
• 硬件：ΔT 以无防御时 Llama3-8B 在 NVIDIA H100 96GB 上的 AlpacaEval 平均响应时间为基准。论文未报告重复次数与评审—人工一致性。

主结果

Table 3 给出三种场景的跨阶段推荐。%↓ASR 在 Vicuna 与 GPT-3.5 上测量，%↑U 在 Llama3、gemini-2.5-flash 与 GPT-4o 上测量。

Swipe horizontally to read the table

场景	组合	%↓ASR	%↑U		Θ	(B)	ΔT(s)
Security	util1⇒util2⇒sec3	97.4	-9.2	43.1	+2.16
Utility	util1⇒util3	94.6	-7.8	35.1	+0.48
Efficiency	mem1={PG, WG}	86.7	-9.6	7.1	-0.02

据 Table 3。各标签对应：util1={PG, OSS}，util2=SR，sec3={LG, WG, GR}，mem1={PG, WG}。

• 作者解读：安全关键场景在高 %↓ASR 的组合中选效用保持较好的 util1⇒util2⇒sec3；效用敏感场景在高 %↑U、低 ΔT 中选 util1⇒util3；显存受限场景在低 |Θ| 中选 mem1。
• 权衡：作者称 Figure 9 再次呈现安全—效用—效率权衡：更复杂的组合 ASR 降幅更大，同时带来一定效用与延迟代价。Figure 8 先按 %↑U 在组合规模组内做 top-k。
• 没有单一最优：作者称 19 种攻击、15 种防御下没有单一防御普遍最好；Table 2 中输入改写的 %↓ASR（2.1–30.5）低于两级守卫（输入守卫 19.2–95.4，输出守卫 15.8–87.6）。

攻击初筛（P1）

• 测了什么：Table 1 在六个目标 LLM 上报告各攻击的 ASR@max_q。白盒子类平均最高为 Adaptive 59.17、DSN 54.83；输出风格中 Refusal 为 49.50；伪装中 SeqBreak 为 92.50、Code 为 86.67；LLM-based 中 ReNeLLM 为 76.17。
• 例外：人设类在 GPT-4o 上 DevMode、DAN、AIM 为 0.00、0.00、0.00，Claude-sonnet-4 上为 0.00、1.00、0.00，平均不超过 38.50，作者因此排除该子类，并认为可能与针对固定人设的安全训练有关。Claude-sonnet-4 上 DSN 为 2.00、GCG 为 2.00，低于其 Baseline 的 5.00。
• 选择：作者按子类整体表现选 Adaptive、DSN、Refusal、SeqBreak、ReNeLLM。SeqBreak 在六个模型上为 100.00、97.00、100.00、100.00、98.00、60.00。

泛化（Section 5）

• 测了什么：Table 19 把三种推荐放到 GPT-5.4-mini 与 gemini-3.1-flash-lite，并使用 HarmBench 与 XSTest。GPT-5.4-mini 无防御时五次攻击 ASR 为 74.00、2.00、5.00、7.50、52.00，Utility 84.2。
• 结果：同一模型上 util1⇒util2⇒sec3 的五次 ASR 全为 0.00，%↓ASR 100.0，Utility 85.4（%↑U 1.4），FPR 7.6。util1⇒util3 的 %↓ASR 为 92.3、Utility 82.6、FPR 8.0。mem1 的 %↓ASR 为 90.4，ReNeLLM 仍为 21.50，FPR 1.2。
• 另一模型：gemini-3.1-flash-lite 无防御 ASR 为 96.00、28.50、66.50、99.50、92.00，Utility 81.2。三阶段组合 %↓ASR 96.3、Utility 80.8、FPR 8.0，其中 SeqBreak 为 16.50。util1⇒util3 为 96.1 与 -2.5；mem1 为 84.8，ReNeLLM 为 57.00，%↑U 为 -10.1。作者称在 Vicuna 与 GPT-3.5 上选出的组合对这两种较新模型仍然有效。

其他消融与分析

• P2 效用：Figure 5 输入守卫中 PG 的 %↑U 为 -0.8%，OSS -6.7%，Mod -19.3%；Figure 6 输入改写中 ICD 为 -1.5%，ICD⇒RPO 为 -43.4%；Figure 7 输出守卫中 LG 为 -4.1%，Mod 为 -16.6%，四守卫组合为 -9.1%。
• P3 阶段推荐：Table 2 安全向配置为 {PG, WG, OSS} 94.2 / -9.9、ICD⇒SR 30.5 / -13.9、{LG, WG, GR} 86.7 / -8.9；效用向为 {PG, OSS} 82.3 / -7.0、SR 18.1 / -6.7、{LG, WG} 83.7 / -7.4。
• P4 其他组合：Table 18 中 mem1⇒util2⇒sec3 的 %↓ASR 为 98.2、%↑U 为 -14.3；util1⇒sec3 为 95.9 与 -8.2；sec2 单独为 30.5 与 -13.9。Figure 9 标注的额外延迟从约 -0.88s 到 +2.60s，基准延迟写为 3.16s。
• 分攻击：Table 17 给出跨阶段组合对五个攻击代表的 ASR@max_q，列按 Vicuna 与 GPT-3.5 成对排列；正文中间列对齐不完整，未逐格转写。三阶段组合的若干格子为 0.00，也有 9.00、8.00 等非零格。

作者指出的局限与后续方向

• 范围：作者在 Background 与结论中把研究对象限定为直接、黑盒、单轮越狱，并写明多轮对话和 LLM 智能体不在本次范围内；结论称作者计划把框架扩展到这些场景（Section 2、Conclusion）。
• 筛选标准：P2 只按效用做 top-k，安全指标要到 P3 才进入；作者在讨论中把“防御初筛未同时考虑安全”列为可改进之处（附录或 Discussion 中关于 selection procedure 的说明）。
• 评审：Section 2.3 称现有 LLM 评审仍有假阳性与假阴性，且没有策略明确最符合人类判断；作者把与人工判断的对齐保留为开放问题。
• 发布：作者写明计划开源代码以支持后续研究，这是计划而非已经完成（Introduction）。
• 权衡不可同时最优：作者在 P4 与结论中称安全、效用、效率存在固有权衡，推荐应按场景选择，而不是给出一个普遍配置（Section 4.4、Conclusion）。

实验覆盖范围

• 攻击与防御：范围内评测 19 种攻击、15 种防御；白盒方法只使用可迁移提示词。训练、推理时干预和输出改写三个阶段出现在 Figure 3，但不进入组合实验。
• 模型与数据：P1 的 ASR 覆盖六个目标 LLM；P3/P4 的 %↓ASR 在 Vicuna 与 GPT-3.5 上计算，%↑U 在 Llama3、gemini-2.5-flash、GPT-4o 上计算。越狱数据为 JBB-Behaviors 的 100 个目标。泛化实验增加 GPT-5.4-mini、gemini-3.1-flash-lite、HarmBench 与 XSTest（Table 19）。
• 预算与硬件：Table 1 写明五个子类的查询预算为 15、5、5、36、80。ΔT 的基准是 Llama3-8B 在一块 NVIDIA H100 96GB 上的 AlpacaEval 平均延迟。
• 未报告项：论文未报告每次条件的重复次数，未报告 HarmBench judge 与人工标注的一致性，也未报告 OR-Bench 上的结果。OR-Bench 只在 Section 2.3 作为已有过度拒绝数据集被提及。
• 选择流程的度量分离：%↓ASR 与 %↑U 来自不同的模型集合；Table 3 的脚注写明了这一分离，两个百分比不能在同一个模型上互相对读。

CASCADE 是一个四步决策框架，用来在一致的直接、黑盒、单轮威胁模型下筛选越狱防御的阶段内与跨阶段组合。

• 问题：防御位于输入守卫、输入改写和输出守卫等不同阶段，但已有评测的 ASR 定义和设置不一致，而且防御大多被单独测试。作者认为没有单一防御普遍有效，组合方式仍是开放问题。
• 方法：P1 在每个攻击子类上用相同查询预算比较 ASR@max_q，选出 Adaptive、DSN、Refusal、SeqBreak、ReNeLLM。P2 按阶段用 AlpacaEval 长度控制胜率做 top-4。P3 在 Vicuna 与 GPT-3.5 上衡量 %↓ASR，并按安全、效用、显存选出阶段配置。P4 再组合这些配置，同时报告参数量 |Θ| 和额外延迟 ΔT。越狱数据是含 100 个目标的 JBB-Behaviors，评审是 HarmBench judge。
• 结果：Table 3 的安全推荐 util1⇒util2⇒sec3 为 %↓ASR 97.4、%↑U -9.2、43.1B、+2.16s；效用推荐 util1⇒util3 为 94.6、-7.8、35.1B、+0.48s；效率推荐 mem1={PG, WG} 为 86.7、-9.6、7.1B、-0.02s。输入改写单独使用时 %↓ASR 最高为 ICD⇒SR 的 30.5（Table 2）。Table 1 中 SeqBreak 的六模型平均 ASR@max_q 为 92.50%。
• 泛化与结论：Table 19 中，同一安全组合在 GPT-5.4-mini 上 %↓ASR 为 100.0、Utility 从 84.2 到 85.4，在 gemini-3.1-flash-lite 上为 96.3、Utility 从 81.2 到 80.8；mem1 在后者上 ReNeLLM 仍为 57.00。作者的结论是应按场景在安全、效用和效率之间选择组合，而不是部署某一个防御；作者计划把框架扩展到多轮和智能体并开源代码。