Crescendo：通过多轮对话逐步升级的 LLM 越狱攻击

1. 01这篇论文试图解决什么问题？

   作者提出多轮越狱 Crescendo：全程用良性输入、借模型自身回复逐步升级，绕过只针对单轮恶意输入的对齐与过滤。

   核心问题：现有越狱攻击多为单轮且含可识别的恶意内容，容易被输入过滤器防御，而现有对齐与评测也只针对单轮越狱；作者研究多轮、良性输入的越狱是否可行。

   • 场景与动机：LLM 被广泛部署并经过安全对齐，但作者认为当前对齐策略和基准只关注 single-turn 越狱，多轮越狱可以绕过这些措施。
   • 现有方法的不足：作者称优化类越狱（如 GCG、AutoDAN）需要 white-box 访问且算力开销大；文本类越狱（如 DAN）一旦被发现的，输入过滤器即可防御，因为输入含可识别的恶意内容。
   • 核心观察：作者认为 LLM 倾向于遵循上下文模式、关注最近文本，尤其是模型自己生成的文本；Crescendo 利用这一点，从无害话题开始，引用模型回复逐步升级，类似"foot-in-the-door"心理策略。
   • 论文产出：提出多轮越狱攻击 Crescendo 及其自动化工具 Crescendomation（作者称已并入 PyRIT），并给出机理分析、与多个基线的对比、迁移性和防御评测。
   • 威胁模型：
     • 目标：让对齐的 LLM 执行其本会拒绝的任务（非法、错误信息、色情、仇恨等类别）。
     • 知识：completely black-box，对目标模型不做任何假设。
     • 能力：通过与 LLM 的正常交互执行；自动化版本只需目标 LLM 的 black-box API 访问。
     • 受害系统：公开聊天系统与模型，包括 ChatGPT、Gemini、Anthropic Chat、LLaMA-2/3 Chat。

   收起这一问

2. 02有哪些相关研究？

   相关工作分四类：在野越狱与推理参数操纵、优化类越狱、LLM 生成/多轮越狱、上下文注入类越狱；基线为 MSJ、CIA、PAIR、CoA。

   在野越狱与推理超参数

   • [22, 27]——调查在野越狱提示词，发现多数已被修补、评估时仍有部分活跃。
   • [16, 35]——操纵温度、topK、解码方式等推理超参数，作者转述其结果称可提升越狱成功率。

   优化类越狱

   • Wei et al. [28]——指出安全对齐的两种失效模式（competing objectives 与 mismatched generalization）；[13] 利用多语言（mismatched generalization）绕过安全限制。
   • [36]（GCG）与 [21]（AutoDAN）——优化对抗后缀越狱；论文指出两者都需要 white-box 访问来微调后缀，因此对 GPT-3.5/GPT-4 等黑盒模型无效。

   LLM 生成与多轮越狱

   • PAIR [10]、CoA [32]——用 LLM 自动优化越狱提示词；CIA [11]——用单次 LLM 调用生成全部对话轮次的多轮越狱；[31] 构建了 2 轮越狱数据集。
   • [14, 12] 微调 LLM 生成越狱；[26, 33] 把 LLM 用作 fuzzer。

   上下文注入类越狱

   • MSJ [7]——向上下文插入超过 100 个恶意 in-context 示例；[20]——在对话历史中插入伪造的模型-用户交互。论文指出二者区别在于注入内容的规模与形式。

   基线与基准：对比基线为 MSJ、CIA、PAIR、CoA（均用 GPT-4 作攻击 LLM、默认设置）；基准为 AdvBench 子集（50 任务）和 HarmBench（100 随机任务）。

   本文定位：作者称 Crescendo 不使用任何对抗性或恶意文本、输入完全人类可读，依靠模型自身输出而非构造显式内容；不涉及显式优化，因而是 black-box 越狱；作者称其在 Figure 6 和 Table 4 中 ASR 高于其他技术，且因使用良性问题而更难检测和缓解。

   收起这一问

3. 03论文如何解决这个问题？

   Crescendo 从无害话题起步、引用模型自身回复逐轮升级；Crescendomation 用 GPT-4 自动生成提问，配合三层评审与回溯循环。

   整体思路：Crescendo 以与目标任务相关的无害话题开场，之后每轮引用模型自己的回复逐步加码，让模型在一小步一小步看似良性的生成中最终完成任务；Crescendomation 把这一过程自动化。

   攻击模式（手动 Crescendo）

   • 基本模式：Figure 2 给出通用模式——先问抽象话题，再让模型组合、改写、强化其自己生成的内容；攻击者几乎不直接提及目标任务。
   • 回溯策略：手动执行时每个任务最多 4 次尝试；模型拒绝时利用聊天界面的编辑功能修改重发，不支持编辑则重开会话。
   • 变体：可把任务精确化（面向特定地区），或在同一会话串联两次 Crescendo 引入第二类目标（如版权内容、脏话）；多模态变体在文本越狱成功后要求模型配图。

   机理假设与验证方法

   • 假设：模型逐轮生成足够多的相关内容后，实质上覆盖其安全对齐。
   • 验证：在 LLaMA-2 70b（论文称其为唯一开源的对齐模型）上做两组实验——逐步向上下文注入激进内容、监测目标词 token 概率（Figure 4）；以及用一个三轮 Crescendo 样例（Sentence A/B/C）测量跳过前轮、替换末轮、逐句移除最终回复内容时"Sure"/"I"开头概率的变化（Table 3、Figure 5）。

   Crescendomation 自动化

   • 输入与角色：输入为目标任务 t 和目标模型 API；攻击模型 A、评审模型 J 均用 GPT-4；参数为轮数 R 与独立迭代次数 N（Algorithm 1）。
   • 循环流程：生成初始提问 → 发送目标模型 → 处理回复并自适应生成下一问 → 直至完成任务；维护目标模型历史与攻击模型历史，并对最新回复做摘要供后续迭代使用。
   • 元提示词：包含 Crescendo 攻击说明和成功样例；附录未给出，正文称完整算法见 Algorithm 1。

   成功判定

   • Judge：GPT-4 对回复相对任务的完成度输出布尔标记、0–100 百分比和解释。
   • Secondary Judge：第二轮 GPT-4 审查 Judge 的解释是否因安全限制出现不合逻辑，必要时推翻判定，用于减少 false negatives。
   • Refusal Judge：判定目标模型是否拒答或触发内容过滤；触发则回溯，最多改述 10 次。
   • 外部 API：Perspective API（6 项指标，取 0–1 最高分）与 Azure Content Filter（4 项指标，0–7 级）辅助评分；作者称这些 API 不覆盖 misinformation 等类别，不能单独作为评测。最后人工复核表现最好的回复以减少 false positives。

   收起这一问

4. 04论文做了哪些实验？

   手动 Crescendo 在 7 个系统上几乎全部任务成功；Crescendomation 在 AdvBench 子集上对 GPT-4/Gemini-Pro 平均 ASR 56.2%/82.6%，作者称超过四个基线。

   实验设置

   • 被测模型：手动实验覆盖 ChatGPT（GPT-4）、Gemini（Gemini Pro）、Gemini Advanced（Gemini Ultra）、Anthropic Chat（Claude-2、Claude-3 Opus、Claude-3.5 Sonnet）、LLaMA-2 70b、LLaMA-3 70b（Table 2）；Crescendomation 实验覆盖 GPT-3.5、GPT-4、Gemini-Pro、Claude-3（Opus）、LLaMA-2 70b，模型规模分析另测 LLaMA-2 7b。
   • 数据集：Table 1 的 15 个自建任务（7 个类别）；AdvBench 子集 50 任务；HarmBench 100 个随机任务；泛化实验用 GPT-4 从 AdvBench 分类选出的 12 任务（Table 9）。
   • 基线：MSJ、CIA、PAIR、CoA；均用默认设置、GPT-4 作攻击 LLM；Crescendo、MSJ、CIA、PAIR 跑 10 次迭代，CoA 用其默认并行设置。MSJ 无公开代码，作者按论文复现，恶意示例取自 GPTFuzz 数据集，示例数从 128 减到 100 并使用 32k token 的 GPT-4。
   • 指标：ASR（Judge 判定至少一次成功的试验比例，binary ASR）与平均 ASR（Judge 0–100 分的均值）；Perspective API 与 Azure Content Filter 最高分。
   • 超参数：Crescendomation 独立运行 10 次、最多 10 轮交互、回溯上限 10 次；所有模型 temperature 设为 0.5。
   • 评审方式：GPT-4 担任 Judge、Secondary Judge、Refusal Judge；作者称人工复核最高分回复，论文未报告人工与 Judge 的一致性数值。

   主结果

   据 Table 4（AdvBench 50 任务，平均 ASR，括号内为 binary ASR，单位 %）：

   表格较宽，可左右滑动

   Model	CIA	CoA	MSJ	PAIR	Crescendo
   GPT-4	35.6 (82.0)	22.0 (22.0)	37.0 (86.0)	40.0 (76.0)	56.2 (98.0)
   GeminiPro	42.4 (92.0)	24.0 (24.0)	35.4 (88.0)	33.0 (80.0)	82.6 (100.0)

   • 作者称 Crescendo 在 GPT-4 上平均 ASR 比其他技术高 29–61%，在 Gemini-Pro 上高 49–71%；binary 口径下 Crescendo 在 GPT-4 上越狱 49/50 任务，次优的 MSJ 为 43 个。
   • 例外：Figure 6a 显示有一个任务所有自动化技术对 GPT-4 都失败（作者未解释原因）。
   • 手动 Crescendo（Table 2）：7 个系统/模型在 10 个任务上几乎全部成功；例外是 Gemini Ultra 的 Meth 任务失败（×），Gemini Pro 的 Meth 与 Intimacy 两格为 (✓*)，表示越狱成功但触发了输出后过滤（作者用 Gemini-Pro API 无过滤器验证）。

   泛化与其他任务

   • 跨模型泛化：在 12 个 AdvBench 任务上，Crescendomation 对所有 5 个模型的 12 个任务都至少达到 20% ASR，多个任务 ASR 达 100%（Figure 7）。
   • 15 任务对比：LLaMA-2 70b 与 Claude-3 总体 ASR 略低、拒答率更高；Explicit 任务对几乎所有模型都难；Denial 任务所有模型均 100% ASR（Figure 8、Figure 16）。作者指出手动 Crescendo 曾成功越狱 LLaMA-2 70b 的 Manifesto 与 Explicit，而 Crescendomation 没有，并称自动化方法还可改进。
   • HarmBench：100 个随机任务上（GPT-4），Crescendo 平均 ASR 63.2%、91% 任务至少成功一次；MSJ 分别为 38.9% 和 70%（Figure 9）。
   • 失败回补：作者称对 Crescendomation 失败的 9 个任务，手动 Crescendo 全部成功。

   机理、迁移与防御

   • 机理（LLaMA-2 70b）：Sentence B 单独执行成功率 36.2%，前置 Sentence A 后 99.99%；Sentence C 接在 B 后仅 17.3%，A→B→C 为 99.9%；把 C 换成直接点明任务的 C' 后成功率降到 1% 以下（Table 3）。Figure 5 显示逐句加入模型生成的内容会逐步提高"Sure"概率，第 4 句影响最大，但移除该句后概率仍升至 100%；作者据此认为起作用的是生成上下文整体而非某一句。
   • 迁移性：把在其他模型上成功的 Crescendo 问题直接用于 GPT-4 和 Gemini-Pro（Figure 12）：Election 任务两模型 ASR 至少 90%，而 Explicit 和 Manifesto 接近 0%；作者称针对目标定制的 Crescendo 优于迁移，且因部分问题引用原模型输出、未做修改，结果是迁移性的下界。
   • 防御评测：对 GPT-4 测 Self-Reminder [30] 与 Goal Prioritization [34]（Figure 13）：两种防御降低了 Toxin、Explicit 等任务的 ASR，但 Election、Climate、Stabbing 受影响不大；把轮数和回溯从 10 提高到 20 后 Meth 任务在 Self-Reminder 下越狱成功。作者提醒 ASR 高于 0% 即表示至少一次运行成功。Goal Prioritization 因 token 开销和 32k 上限未能跑 30 轮。

   其他消融与分析

   • 最少轮数（Table 5）：多数任务平均在 5 轮以内越狱成功；GPT-3.5 与 Llama-2 的 Explicit、Llama-2 的 Manifesto 为 ∞（未成功）。
   • 模型规模（Figure 10）：LLaMA-2 70b 与 7b 对 Crescendo 的表现几乎相同，Manifesto 与 Explicit 对两者都完全抵抗，其余任务 ASR 至少 20%；作者称这一相似性出乎意料，认为对 LLaMA-2 而言对齐脆弱性与模型规模不相关。
   • 回溯步数（Figure 11，GPT-4）：回溯的作用因任务而异——Election 在 0 回溯时仍 100% ASR，Manifesto 在 0 回溯时很难；把轮数从 10 增至 20 可部分补偿回溯减少，但不如回溯本身；Soothing、Choice 等任务在更多轮数下 ASR 上升。
   • 外部 API 评分（附录 Table 6–8）：各自评分的最高分与类别标签按模型列出，作者称外部 API 验证了 Crescendomation 的有效性。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者列出四点局限（无历史系统、API 依赖、攻击 LLM 的对齐、手动结果只是示例）并提出三类缓解方向；实验覆盖 9 个目标模型。

   作者指出的局限与后续方向

   • 无历史记录的系统更有抵抗力：Crescendo 本质是多轮越狱，缺乏 history 功能的系统可能天然更有抵抗力；但作者指出支持聊天功能就需要维护历史（6.1 Limitations）。
   • 需要 API 访问：Crescendomation 需要目标模型的 API，因此未能评估 Claude-2（6.1）。
   • 攻击 LLM 自身的对齐：Crescendomation 基于 GPT-4，攻击 LLM 有时会拒绝或抗拒生成攻击或执行评审任务（6.1）。
   • 手动结果只是示例：3.2 节的手动结果不涵盖 Crescendo 的全部潜力，作者称实践中可用于更多任务、效果可能更强（6.1）。
   • 缓解方向：训练阶段预过滤可疑内容（作者指出对 misinformation 类任务不适用且重训成本高）；用 Crescendomation 生成数据做对齐；对输入输出施加内容过滤（作者指出难以全面过滤，字符替换会进一步增加检测难度）（6.2 Mitigation）。
   • 作者的建议：系统设计者在部署时应假设当前 LLM 终将被越狱，内容过滤类防御可按最坏情况设计（6.3 Status of LLM Safety）。

   实验覆盖范围

   • 被测目标模型共 9 个：GPT-3.5、GPT-4、Gemini-Pro、Gemini Ultra、Claude-2、Claude-3（Opus/3.5 Sonnet 出现在手动实验）、LLaMA-2 70b、LLaMA-3 70b、LLaMA-2 7b（5.1.1、Table 2、5.4）。
   • 攻击模型与全部评审模型（Judge、Secondary Judge、Refusal Judge）均为 GPT-4，论文未用其他模型担任这两个角色做对比（5.1.2、5.1.3）。
   • 基准覆盖：自建 15 任务、AdvBench 50 任务子集、AdvBench 12 任务子集、HarmBench 100 个随机任务（5.1.4、5.3）。
   • 防御评测仅 Self-Reminder 与 Goal Prioritization 两种，且只在 GPT-4 上进行（5.7）。
   • 论文未报告人工复核的样本量与其和 Judge 判定的一致性数值；Crescendomation 默认 10 次独立运行、10 轮交互（5.1.5）。

   收起这一问

6. 06总结一下论文的主要内容

   Crescendo 用良性多轮对话借模型自身回复逐步越狱，作者称其在多个模型与基准上超过现有自动化越狱，并讨论了缓解难点。

   一篇多轮越狱攻击论文：作者提出 Crescendo——从与任务相关的无害话题开始，逐轮引用模型自己的回复逐步升级，全程不使用恶意文本，从而绕过针对单轮恶意输入的对齐与过滤；并实现自动化工具 Crescendomation（GPT-4 生成提问，Judge/Secondary Judge/Refusal Judge 评审与回溯，作者称已并入 PyRIT）。

   • 要解决的问题：作者认为现有对齐与评测只覆盖单轮越狱，而单轮越狱一旦被发现即可被输入过滤器防御。
   • 手动效果：在 ChatGPT（GPT-4）、Gemini Pro/Ultra、Claude-2/3、LLaMA-2/3 70b 共 7 个系统的 10 个任务上几乎全部成功（Table 2）；例外为 Gemini Ultra 的 Meth 任务。
   • 自动化对比：AdvBench 50 任务上平均 ASR（binary ASR）对 GPT-4 为 56.2%（98.0%）、对 Gemini-Pro 为 82.6%（100.0%），作者称分别超过 MSJ/CIA/PAIR/CoA 29–61% 和 49–71%（Table 4）。
   • 泛化：HarmBench 100 任务上平均 ASR 63.2%（MSJ 为 38.9%）；12 任务上对 5 个模型均至少 20% ASR；多数任务平均 5 轮内成功（Table 5）。
   • 机理证据：LLaMA-2 70b 上前置良性上下文把关键一步的成功率从 36.2% 提到 99.99%，把末轮换成直接点明任务则降到 1% 以下（Table 3）；作者据此认为起作用的是模型生成的上下文整体。
   • 防御与结论：Self-Reminder 与 Goal Prioritization 只降低部分任务的 ASR，增加轮数和回溯后仍有任务被越狱；作者建议部署时假设 LLM 终将被越狱，并提出训练数据过滤、用 Crescendomation 数据做对齐、输入输出过滤三类缓解方向，同时指出各自的困难。

   收起这一问

相关论文