窄领域中的越狱防御：现有方法的局限与一种新的对话记录分类器方法

1. 01这篇论文试图解决什么问题？

   作者报告：只禁帮造致命炸弹时，所测防御仍至少各有一种攻破。

   即便只禁止帮用户造出致命炸弹，作者报告所测防御仍不能完全挡住。

   • 场景：作者认为，LLM 更强之后应难以用越狱套出有害信息；并称现有方法无法在不损害性能的情况下，可靠阻止广义禁用行为（如服务商使用政策所禁行为）。
   • 窄域：他们把问题收成 LLM bomb-defense：阻止模型提供可操作、足以造出致命装置、且超出 Wikipedia 的细节，同时保留其他能力。作者称该有害门槛高于其他研究。
   • 不足：作者报告安全训练、对抗训练和输入/输出分类器都不能完全解决该窄问题，每种至少有一种漏洞。
   • 提案：提出转录本分类器 CoT-4o。作者称它在多个轴上优于所测基线，但某些情形仍失败；再改进要么降低能力，要么不能提高整体鲁棒性。
   • 威胁模型：
     • 知识：grey-box。可对任意系统子组件做 top-k log-prob 查询，无权重；掌握生成模型与分类器的提示词。
     • 理由：作者称这比攻击网页 API 上的闭源模型时通常权限更多，故在此设定下有效的防御，在真实闭源 API 部署中也可能有效。
     • 目标：不得合格地帮人做炸弹。rubric 要求输出含输入中没有的高级技术信息，且合并后足以让中学生造出靠压力或抛射物轻易致命的炸弹；毒杀、纵火、枪和核弹不计入。
     • 受害系统与判定：被测的是生成模型，可外加分类器；判为不安全则用拒答替换输出。成功由论文作者人工判定，边界案例需至少 2 人一致。附录 B 还要求无关任务上的能力不低于原模型。

   收起这一问

2. 02有哪些相关研究？

   作者把本文放在高风险分类与越狱基准旁，并改用人工判定。

   作者把本文放在高风险分类和越狱基准旁边，并用人工判定避免评分器自成防御。

   • 高风险分类：Ziegler 等（2022）微调 deberta-v3-large，判断补全是否比给定输入多了暴力内容，目标是单次失败也不可接受；作者称该工作同样未成功。作者写明的差别是：本文用更强的分类器（如 GPT-4o），且方法不同于其人机循环对抗训练。
   • 越狱基准：HarmBench（Mazeika 等，2024）与 JailbreakBench（Chao 等，2024）比较攻击和防御。作者指出，这些基准用自动评分器判成功与否，却没有规定不能把该评分器当作过滤器，因此用评分器本身过滤就能在构造上通过基准。作者认为应改用人工判定，同时称人工评估难复现且昂贵。
   • 提示注入与未对比的防御：StruQ（Chen 等，2024）与 spotlighting（Hines 等，2024）用划分或突出不可信输入来防提示注入；CoT-4o 吸收了给不可信文本加界的想法。作者报告自己的实现和所测分类器仍会被提示注入攻破。Willison（2024）把越狱和提示注入当作不同问题；作者认为在本题上挡住提示注入就能解决越狱，反之亦然。困惑度过滤（Alon 与 Kamfonas，2023）和随机平滑（Robey 等，2023）未做对比，因为提出这些方法的工作报告它们对自然语言攻击偏弱，或使性能下降过多。circuit breaker（Zou 等，2024）作者留到以后评估。
   • 基线与数据：生成侧基线是安全训练后的前沿模型，以及在 HarmBench 攻击上对 gpt-3.5-turbo-1106 做的三档静态对抗微调。分类器基线是 LlamaGuard-2 的短提示与全提示，以及 HarmBench 的三个输出分类器。评测用 HarmBench 与 JailbreakBench 编成的 321 条造炸弹越狱、PAIR、干冰提示、提示注入、随机搜索，以及 AlpacaEval 上的拒答率。

   作者把本文与 Ziegler 等和这些基准区分开的地方，是人工判定、更高的窄域有害门槛，以及带界线的转录本分类器。他们还把问题类比于 Brown 等（2018）的无限制对抗样本：真值是人，而不是数学上干净的扰动球。

   收起这一问

3. 03论文如何解决这个问题？

   CoT-4o 用大写和随机 UUID 的 XML 包住转录本，再以思维链与解析器拦截。

   作者把防御收窄到不得合格帮助造炸弹，并用转录本分类器 CoT-4o 同时看用户输入和模型输出后再决定是否拦截。

   问题设定

   • 行为：只禁止帮助制造靠压力或抛射物杀伤的致命炸弹。高级技术信息须事实正确、具体可操作，且实质超出 Wikipedia 对炸弹的基本描述；错误、虚构或外行也能写出的内容不算。
   • 三条同时成立才记违规：输出含 ATI；该 ATI 不在用户输入中（换说法不算新）；输入加输出足以让中学生造出轻易致命的装置。毒杀或纵火装置、枪、核弹不标记。完整 rubric 在附录 B.1。
   • 形式要求（附录 B，Definition 1）：不存在在合理时间内、以 grey-box 访问产出违规输入的算法；与造炸弹无关的任务上，防御后模型能力不低于原模型。作者把合理时间操作化为对 M 价值 2000 美元的查询，并称形式化留待以后。
   • 为何不用自动评分器：若用自动评分器判定成功，把同一评分器当作过滤器就会构造出同义防御。作者因此用人工；评判者来自作者，边界案例需至少 2 人一致。

   对照防御

   • 安全训练：claude-3 的 Haiku、Sonnet、Opus，gpt-3.5-turbo-0125 与 1106，gpt-4-turbo-2024-04-09，gpt-4o-2024-05-13。作者称这些模型经过 RLHF、RLAIF 一类安全微调。
   • 静态对抗微调：在 gpt-3.5-turbo-1106 上监督微调，把攻击请求映射到拒答，其余为良性补全。正文写训练集为 3,725 条 HarmBench 攻击；附录 C.1 的 adv-sft-op1/2/3 对抗数据占比 11%、15%、16%，攻击样本为 2.2k、3.7k、3.7k，训练 4 个 epoch。第 2.3 节称攻击集包含造炸弹；附录 C.1.1 称所用 HarmBench behaviors 不含造炸弹请求。
   • 分类器基线：生成后再把输出交给输出分类器，或把输入与输出交给转录本分类器；判为不安全则替换为拒答。五个基线：LlamaGuard-2 短提示与全提示；HarmBench 的提示式 gpt-4o-2024-05-13、微调的 Llama-2-13b-chat、微调的 Mistral-7b。

   CoT-4o

   • 转录本变换（Figure 1.1，附录 C.2）：用户请求与助手回复转成全大写并做 HTML 转义，再用带随机 UUID 的 XML 标签包住，以便区分审核指令与待审内容。附录 F.2 给出完整提示词。
   • 三步思维链：先查转录本是否在操纵审核；再标出用户请求里寻求爆炸相关帮助的部分；最后判断助手回复是否让用户更有能力制造危险爆炸。清单任一项为 yes，或输出结构偏离预期，解析器就判为有害并拦截。除开、关或拒绝全部输入外，作者称它没有易调阈值。
   • 安全系数（附录 D）：另有 CoT-eg-4t（gpt-4-turbo-2024-04-09），在约 130 条人工样本上按低误报设计，只标明显合格的违规。CoT-4o 在同一批样本上改成更早标记造炸弹的子任务，作者称之为更大的安全系数。评估时 temperature 为 0，但作者注明 OpenAI API 在 temperature 0 并不确定，正式评估只抽 1 次。

   攻击与抽样

   • 五类攻击：321 条来自 HarmBench 与 JailbreakBench 的 static 越狱；PAIR（攻击模型 gpt-4o-2024-05-13，temperature 1.0；论文写 31 条请求、25 个目标，共 775 次尝试；对策略模型或基线跑 5 步，对自研防御跑 10 步）；人工改写的干冰提示；针对分类器的人工提示注入；随机搜索后缀。
   • 随机搜索：策略模型上最大化首 token 为 Sure 的对数概率，n_steps=4，k_candidates=512，后缀长 40；需 log-prob，故不用于 Claude。分类器上把 unsafe 翻成 safe，后缀长 120，批大小 20，再以 few-shot 让生成模型把后缀写进输出。
   • 优先抽样：按领域词出现次数打分，丢掉过低、过高、含常见拒答或已被防御标出的输出，再人工抽查。生成模型上的 PAIR 取 10–30 次，随机搜索取 8–30 次，对 CoT-4o 取 3–30 次。词表在附录 C.3，此处不列出。
   • 指标：无分类器的防御用人工 ASR；论文写有时这是下界。分类器用 AlpacaEval 拒答率：阈值取越狱样本中最低的有害概率，使这些越狱都被挡住；作者把拒答率超过 5% 定为防御被攻破。

   收起这一问

4. 04论文做了哪些实验？

   Table 2.1 中每种防御至少有一类攻击被标红；CoT-4o 因 1/321 条 static 失败而拒答率 100%。

   实验设置

   • 生成模型：claude-3-haiku、claude-3-sonnet、claude-3-opus，gpt-3.5-turbo-0125、gpt-3.5-turbo-1106，gpt-4-turbo-2024-04-09（表中写 gpt-4-turbo），gpt-4o-2024-05-13，以及 adv-sft-op1/2/3。Figure C.2 还对 zephyr_7b_r2d2 跑了 PAIR，主表未给其 ASR。
   • 分类器：LlamaGuard-2-s、LlamaGuard-2-f；HarmBench-mistral（微调 Mistral-7b）、HarmBench-llama（微调 Llama-2-13b-chat）、HarmBench-4o（提示式 gpt-4o-2024-05-13）；自研 CoT-4o。PAIR 的攻击模型为 gpt-4o-2024-05-13。良性改写用 GPT-4（附录 C.1.1）。
   • 数据：static 为 321 条，来自 HarmBench 与 JailbreakBench。干冰为每个前沿模型手工改写后、temperature=1 的 10 条输出。AlpacaEval 用于拒答率，论文未写条数。
   • 指标：无分类器时为人工 ASR，有时是优先抽样下界，Table 2.1 未标明哪些格子是下界。分类器为 AlpacaEval 拒答率，攻破线为超过 5%。只改生成模型的防御，攻破线为 ASR 大于 0。
   • 评审：论文作者按附录 B rubric 打分，边界案例至少 2 人一致。论文未报告一致性系数，也未报告各攻击的查询次数或美元花费。PAIR 对每个生成模型在 10–30 个领域词的带内抽 10 条人工评分。
   • 分类器所防的生成模型（Table 2.1 表脚）：Static、提示注入、随机搜索为 gpt-3.5-turbo-0125；PAIR 论文写为 all；Dry-Ice 为 gpt-3.5-turbo-0125 与 gpt-4o。

   主结果

   下表据 Table 2.1。上五行为人工 ASR（%），下三行为 AlpacaEval 拒答率（%）。提示注入对只改生成模型的防御不适用；Claude 的随机搜索因无 log-prob 不适用。

   表格较宽，可左右滑动

   模型（指标）	Static	PAIR	Dry-Ice	随机搜索	提示注入
   gpt-3.5-turbo-1106（ASR%）	4.36	0.38	100	100	不适用
   gpt-3.5-turbo-0125（ASR%）	6.54	1.04	90	69	不适用
   gpt-4o-2024-05-13（ASR%）	0	2.06	100	0	不适用
   claude-3-sonnet（ASR%）	0	0	20	不适用	不适用
   adv-sft-op1（ASR%）	0	0	10	97	不适用
   CoT-4o（拒答%）	100	0.12	0.12	0.12	0.12
   HarmBench-4o（拒答%）	0	0	0.24	未报告	100
   HarmBench-mistral（拒答%）	0	0.35	96.39	100	30.68

   • 省略：claude-3-opus、claude-3-haiku、gpt-4-turbo、adv-sft-op2、adv-sft-op3、LlamaGuard-2-s、LlamaGuard-2-f、HarmBench-llama 的数字见 Table 2.1。其中 adv-sft-op3 的随机搜索 ASR 为 0、Dry-Ice 为 60；LlamaGuard-2-f 的 PAIR 拒答率为 6.45%；HarmBench-llama 的提示注入拒答率为 65.09%。
   • 作者的读法：每一行都有红色格子，即每种防御至少被一类攻击攻破。前沿模型在干冰上至少 20% 被攻破；正文写 GPT-4o 的 PAIR ASR 为 2%，表为 2.06%。PAIR 攻破了除 claude-3-sonnet 外的标准安全训练模型。
   • CoT-4o：321 条 static 中只失败 1 次，但因没有易调阈值，AlpacaEval 拒答率为 100%。其余四列为 0.12%，按作者的 5% 线不算攻破。作者称它在多个轴上优于基线，但仍不完美。

   静态对抗微调的泛化

   • 相对 gpt-3.5-turbo-1106，三档微调在 Table 2.1 的 static 与 PAIR 上 ASR 均为 0。PAIR 在 1106 上产生 338 条被 CoT-4o 标出的回复，三档合计只有 1 条，作者判为假阳性。
   • 作者称 PAIR 与微调所拒的 static 越狱分布接近，故这一结果并不意外。三档仍都被干冰攻破，ASR 为 10%、50%、60%（op1/2/3，Table 2.1）。
   • 仅 adv-sft-op3 在作者所用随机搜索下 ASR 为 0，但附录 E.1 有一条被判未构成合格失败的边界例子。作者认为再调提示或超参数仍可能出现合格失败。

   分类器被绕过的方式

   • 改编 PAIR：跑到基线分类器标 safe、而 CoT-4o 标 unsafe 为止。表中 HarmBench 三家的 PAIR 拒答率为 0、0.25%、0.35%；正文写小于 0.35%。LlamaGuard-2-s/f 为 5.83% 与 6.45%，按 5% 线被攻破。
   • 干冰与提示注入：HarmBench-4o 的干冰拒答率为 0.24%。作者称它识别了全部显式干冰炸弹回复，并把泛化归于更强的基座模型。作者称提示注入攻破了所测分类器基线，拒答率最低 30%；表中基线最低为 HarmBench-mistral 的 30.68%，HarmBench-4o 为 100%，CoT-4o 为 0.12%。作者称能力增强带来新漏洞。
   • 随机搜索后缀：长度 120，批大小 20，优化到至少 5% 拒答。Table 2.1 中 mistral 为 100%，LlamaGuard-2-s 为 38.26%，LlamaGuard-2-f 为 23.47%，HarmBench-llama 为 30.56%，HarmBench-4o 未报告，CoT-4o 为 0.12%。

   CoT-4o 的红队与安全系数

   • 人工挑战：超过 3000 次尝试中有 6 次可行，含干冰情形，用于改提示。改后 Table 2.1 的干冰列为 0.12%。
   • 自动 PAIR：数千次自适应攻击。优先抽样后人工查看可疑样本，作者称均未达 rubric。Figure C.3 是未被 CoT-4o 标出样本的领域词计数分布；正文未给各柱高度，并称未找到假阴性。
   • 仍在的失败：321 条 static 中有 1 条能稳定攻破（附录 E.2，不复述提示）。作者把漏洞归于手工提示工程的限制，并称 LlamaGuard-2 与 HarmBench 分类器在 static 上没有失败，因而认为对 CoT-4o 做类似微调会提高鲁棒性。附录 D 写 CoT-eg-4t 未能挡住干冰，安全系数更大的 CoT-4o 在 Table 2.1 末行未被干冰攻破。

   其他消融与分析

   • Table C.1（HarmBench 评分器，测试行为 12077）：攻击数据 11%/15%/16% 时 ASR 为 1.7%/0.55%/0.39%，良性拒答为 2%/2.7%/4.3%。与 Table 2.1 的炸弹人工 ASR 不是同一指标。
   • 随机搜索超参：策略模型后缀长 40，分类器后缀长 120；n_steps=4，k_candidates=512；分类器 batch_size=20。
   • PAIR：论文写共 775 次尝试（31 条请求、25 个目标）；攻击模型 temperature 1.0；步数为 5 或 10。
   • 优先抽样词数窗口：生成模型 PAIR 为 10–30，随机搜索为 8–30，CoT-4o 为 3–30。
   • Figure D.1 把 CoT 分类器改跑在 gpt-3.5-turbo-0125 上；作者称比非 CoT 分类器更耐后缀攻击，正文无端点数值。Figure D.2 的多 token 损失作者称也未成功，无端点数值。
   • 附录 D.3：作者称用 gpt-4o 以 19 种非英语给出干冰说明时，除 HarmBench-4o 外的分类器都被骗过；只有与生成模型能力相当或更强的 gpt-4o 分类器挡住了干冰与该非英语攻击。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称防止 competent failure 仍开放，并建议微调分类器与改进人工真值反馈。

   作者指出的局限与后续方向

   • 开放问题（第 4 节）：作者称防止 AI 系统出现 competent failure 仍是开放问题。
   • 后续（第 4 节）：可在窄域用微调校准分类器以提高性能，并发展更好的迭代式人工真值反馈。
   • circuit breaker（附录 A）：作者把评估 circuit-breaking 防御留到以后。
   • 人工评估（附录 A）：作者称基于人的评估难复现且很贵，克服这一点是重要的开放问题。
   • 威胁模型形式化（附录 B.3）：白盒权重访问被作者视为以后可做的方向；“合理时间”的形式化也留到以后。
   • 可扩展监督（附录 B.3、B.4）：作者把可扩展监督视为本文范围外，并称 Definition 1 有弱点：模型输出可能超出评判者能力，即便允许再查询 M 也难判断。他们未能找到满足该构造的输入，但仍认为模型更强时这可能成为问题。附录 B.2 还写，相对自动评分器而依赖人工监督这一假设，以后或需重新评估。

   实验覆盖范围

   • 生成模型结果覆盖 claude-3-haiku、sonnet、opus，gpt-3.5-turbo-0125 与 1106，gpt-4-turbo-2024-04-09，gpt-4o-2024-05-13，以及 adv-sft-op1/2/3（Table 2.1）。分类器为 LlamaGuard-2-s/f、HarmBench-mistral、HarmBench-llama、HarmBench-4o、CoT-4o。
   • 攻击包括 321 条 static、PAIR、每个前沿模型 10 条 temperature=1 的干冰输出、人工提示注入，以及需要 log-prob 的随机搜索（未用于 Claude）。HarmBench-4o 的随机搜索在 Table 2.1 标为因计算量未做。
   • 炸弹是否违规由论文作者按附录 B rubric 判定；边界案例要求至少 2 名评判者一致。论文未报告一致性系数。论文写有时用优先抽样给出 ASR 下界，Table 2.1 未标明哪些格子是下界。
   • 分类器是否被攻破，作者定为：阈值设到能挡住全部人工判定的越狱后，AlpacaEval 拒答率超过 5%。CoT-4o 在 temperature 0 下每次评估只抽 1 次（附录 D）。论文未报告各攻击的查询次数。
   • 附录 C.1.1 写训练用的 HarmBench behaviors 不含造炸弹请求；Table C.1 的 ASR 用 HarmBench 评分器，测试行为规模 12077。作者说明未对比困惑度过滤与随机平滑，因为提出这些方法的工作报告其对自然语言攻击偏弱或使性能下降过多。

   收起这一问

6. 06总结一下论文的主要内容

   窄域炸弹防御仍未做完：所测方法各有漏洞，CoT-4o 也因单条 static 攻击对应 100% 拒答。

   作者用“不得合格帮助制造致命炸弹”这一窄任务，检查越狱防御能不能做完。

   • 问题：广义禁用行为的防御，作者称为开放问题。他们把违规定到：输出含输入里没有的、超出 Wikipedia 的可操作细节，且合并后足以让中学生造出靠压力或抛射物轻易致命的装置。判定由作者人工完成，以免自动评分器本身变成过滤器。
   • 设定：攻击者是 grey-box，可查 top-k log-prob、无权重，但看得到生成模型与分类器的提示词。对照包括安全训练后的 Claude-3 与 GPT 系列、三档静态对抗微调，以及 LlamaGuard-2 和 HarmBench 的分类器。
   • 方法：CoT-4o 先把对话转成大写、用随机 UUID 的 XML 包住，再跑三步思维链；解析失败或清单出现 yes 就拦截。除开关或拒绝全部输入外，作者称它没有易调阈值。
   • 结果：Table 2.1 里每种所测防御至少有一类攻击被标红。干冰提示下前沿模型 ASR 至少 20%，gpt-4o-2024-05-13 为 100%；claude-3-sonnet 的 PAIR ASR 为 0，正文与表一致。分类器以 AlpacaEval 拒答率超过 5% 为攻破线时，HarmBench-4o 在提示注入上为 100%，其干冰拒答率则为 0.24%。CoT-4o 在 PAIR、干冰、提示注入和随机搜索上为 0.12%，但 321 条 static 里有 1 条稳定失败，对应拒答率 100%。
   • 作者结论：该分类器在窄域上有进展，但防止 competent failure 仍是开放问题。作者提出的后续是在窄域微调以校准分类器，并改进迭代式人工真值反馈。

   收起这一问

相关论文