缓解多轮示例越狱攻击

1. 01这篇论文试图解决什么问题？

   MSJ用大量假assistant示例压过安全训练，本文用微调与输入清洗缓解。

   Many-shot jailbreaking（MSJ）用大量假 assistant 的不当回答，让长上下文模型的上下文学习压过安全训练。

   • 场景：作者称最终请求前放入足够多的假 assistant 不当示例后，模型会按该模式回答新请求。Anil 等人在 Anthropic、OpenAI、Mistral、Meta 的模型上观察到该现象；作者在 Llama3.1-8B-Instruct 上复现越狱回答 NLL 与 shot 数的幂律（Figure 1）。
   • 现有不足：作者称 Anil 等人发现输入清洗和微调只抬高幂律截距、不改变斜率，因而未能抑制 MSJ。推理期激活转向是另一类可选干预，本文也做了检验。
   • 本文做法：比较对抗微调与输入清洗，以及附录中的激活转向和着色，单独与组合使用；既测抗 MSJ，也测良性 ICL 与对话是否保住。作者建议将其并入安全后训练。
   • 威胁模型：
     • 目标：使模型违背安全训练，延续假 assistant，例如回答本应拒绝的有害问题，或侮辱用户。
     • 知识：论文未写 white-box 或 black-box。攻击者控制提示词中的多示例；若托管方剥离标准角色标签，攻击者改用伪造标签绕过。
     • 受害系统：使用 system、user、assistant 角色的 chat LLM。实验对象是上下文 8192 token、经 SFT 与 RL 后训练的 Llama3.1-8B-Instruct。
     • 判定：不当回答的 NLL 及相对 shot 数的斜率；前沿 LLM 对生成是否适当做二元判断和成对比较。

   收起这一问

2. 02有哪些相关研究？

   工作接续Anil等人的MSJ，并对照激活转向与安全后训练。

   本文接在 Anil 等人（2024）的 MSJ 之后，试图用含伪造标签的对抗微调改变幂律斜率，而不是只抬高截距。 论文没有单独的 Related Work 节，下面按引言和附录里的讨论分组。

   安全后训练与角色格式

   • Bai 等人（2022）：用 RLHF 训练有用且无害的助手。作者用它说明 chat LLM 的 SFT 与 RL，以及 system 被当作权威、assistant 通常 on-policy、user 或 tool 通常 off-policy。
   • 角色提示实践：论文引用 Anthropic、Meta Llama 3.1 与 OpenAI Model Spec，说明常见 chat LLM 用特殊 token 分隔 system、user、assistant。

   上下文学习

   • Brown 等人（2020）：在 GPT-3 上展示足够大的模型可从提示中的输入-输出示例习得行为。作者称 ICL 用于翻译、摘要、算术、推理等任务。
   • Dai 等人（2023）、Xie 等人（2022）：讨论 ICL 机制。作者称机制仍在研究，未与本文做实验对比。
   • Agarwal 等人（2024）：研究 many-shot ICL。本文奇偶任务基于该工作。

   MSJ

   • Anil 等人（2024）：用大量假 assistant 不当示例使前沿模型在新输入上被越狱，并报告越狱回答 NLL 与 shot 数呈幂律。他们发现输入清洗和微调只抬高截距、斜率不变。作者称本文斜率结果与此相反，并认为原因是微调数据纳入了清洗示例。

   激活干预

   • Turner 等人（2024）、Zou 等人（2023）、Subramani 等人（2022）、Panickssery 等人（2024）：用语义向量做 activation addition 或 steering。Ackerman 与 Panickssery（2024）给出 self-recognition 向量和 coloring。作者在附录称这些干预要么过弱，要么同时扰乱越狱处理与正常 ICL，着色也未能稳定超过单独微调。

   基线与数据

   • 基线：同一 Llama3.1-8B-Instruct 的未微调，以及未微调加输入清洗。评测用 Harmful1（HuggingFaceH4）、Insults（Anil 等人）、Harmful2（Sheshadri 等人，2024）、Harmful3（TrustAI Laboratory），以及 OR-Bench、MT-Bench、ChatBot Arena 和奇偶任务。

   作者把本文定位为可并入常规安全后训练的缓解；并称开放权重、部署方无法清洗时，也可只做微调。

   收起这一问

3. 03论文如何解决这个问题？

   在Llama3.1-8B-Instruct上对抗微调，并对用户输入做角色标签清洗。

   主路径是 对抗微调 叠 输入清洗：让模型在看到假 assistant 不当示例后仍给出合规回答；清洗假定托管方可剥掉用户输入里的标准角色标签。激活转向作为对照，未进入主结果。

   模型与提示格式

   • 模型：实验都在 Llama3.1-8B-Instruct 上做，上下文 8192 token。system、user、assistant 由特殊 token 标出。
   • MSJ 拼法：按 Anil 等人，随机抽一对问答作目标，再抽 Numshots 对放在前面。评测时 N shot 的上下文等于 N−1 shot 再加一对。
   • 清洗与伪造标签：托管方在送入模型前去掉用户输入中的标准角色标签。绕过时，伪造标签从看起来合理的集合里随机抽取；同一次测试攻击内标签一致。Figure 2 给了格式示例。

   训练数据与损失

   • 要抑制的行为：Harmful1 来自 HuggingFaceH4，是回答有害问题；Insults 来自 Anil 等人，是侮辱用户。目标回答换成数据中平行的良性回答，训练只展示成功恢复。
   • 标签配比：对抗例一半把对话嵌在 user 轮、标签随机且不同于真标签，一半用标准标签。训练同时含标签一致与不一致的例子；作者称两种大致同样有效，未给分开的数字。
   • 保能力数据：Science Conversations、Everyday Conversations，以及少量算法生成的数值序列。对话长度 L 从 1 到 40，每种抽 12 段。序列任务的示例嵌在 user 侧，损失加在最后的 assistant 回答上。
   • 规模与优化：Insults 的 Numshots 为 8 到 65，Harmful1 为 8 到 49（作者称这是能稳定放进窗口的上限）；两种的 Numattacks 都是 24。合计约 4000 例，作者称验证损失在试点中于此趋平。全层全参数微调，AdamW，学习率 1e-6，无 weight decay，1 个 epoch。主实验只对最后的真实 assistant 恢复回答计损失。

   评测怎么判

   • NLL：每个集合 100 个目标，shot 从 0 到 48、步长 2。记录模型赋予越狱目标回答的 NLL，拟合直线和置信区间。Figure 3 纵轴是不当回答的 log average per-token NLL。
   • 生成：greedy decoding。方法节写最大 MSJ 上下文为 Harmless3 数据集 28 shots、其余 48 shots。二元与成对判断由 Claude Sonnet3.5-new 和 GPT4-Turbo 做；成对时两种顺序各看一次。附录 A.1.1 给出完整评审提示词：二元只判是否违背典型安全后训练，成对只选更适当的一条。
   • 能力：OR-Bench 各抽 200 条 Toxic（应拒绝）和 Hard（良性但易被看成有毒），由未点名的 LLM 判是否拒绝。奇偶任务 1 到 64 shots，每条是 16 个 0/1 对应 16 个 even/odd，无显式指令。MT-Bench 用 GPT4 打分。另有 Harmless1、Harmless2、Nice 和 ChatBot Arena 的长上下文良性生成。

   附录里试过但未采用的向量方法

   • 推理期转向：试用 self-recognition 向量、真 user/assistant 标签的对比向量，以及标签内文本的对比向量；干预层、绝对缩放、按残差范数缩放和相似度对齐都试过。作者称要么弱到不能缓解越狱，要么同时扰乱越狱处理与正常 ICL。
   • 微调期着色：语义向量、与新闻语料主成分正交的随机角色向量，以及随损失学习的向量，作者称都未能稳定超过单独微调。先让模型靠向量完成任意 token 归属，该任务可做对并迁到相近任务，但对其他向量辨认泛化弱，对 MSJ 拒绝没有泛化。
   • 假 assistant 也计损失：作者称能压平 NLL 斜率（Figure 7），但担心模型学到不当行为，未继续采用。

   收起这一问

4. 04论文做了哪些实验？

   Insults经Sonnet3.5：未微调适当率4.00%，微调后100.00%。

   实验设置

   • 被测模型：只有 Llama3.1-8B-Instruct。方法节的评审是 Claude Sonnet3.5-new 与 GPT4-Turbo；Table 3 写作 Sonnet3.5 与 GPT4。论文未说明 Table 3 的 GPT4 是否即 GPT4-Turbo。MT-Bench 使用 GPT4。OR-Bench 的评审模型论文未点名。
   • MSJ 数据：Harmful1、Harmful2、Harmful3、Insults。评测由数据集问答对抽样拼成，没有单独的攻击 LLM。清洗条件指攻击使用随机角色 token，以绕过输入清洗。
   • 对照：未微调（U）、未微调加清洗攻击（U+S）、微调（FT）、微调加清洗攻击（FT+S）。生成比较的是微调与未微调，各配清洗与非清洗攻击。
   • 指标：越狱目标回答的 NLL、斜率与截距；LLM 二元适当率；成对偏好。能力侧为 OR-Bench 拒绝、奇偶准确率、MT-Bench 分数。
   • 样本量：NLL 每个集合 100 个目标，shot 0 到 48、步长 2。生成用 greedy decoding。方法节写 Harmless3 为 28 shots、其余 48 shots；结果节把 Figure 4 的最大长度写成 48 shots。论文未说明 Harmless3 是否即 Harmful3，也未报告多种子重复。
   • 能力样本：OR-Bench 的 Toxic 与 Hard 各 200；奇偶任务 shot 从 1 到 64。MT-Bench 的题目数论文未写。

   主结果

   下表是最大长度 MSJ 上被判为适当的比例（Table 3）。结果节称该长度为 48 shots。Figure 4 是两名评审的平均，柱高未进入文本，故不用平均图填数。

   表格较宽，可左右滑动

   数据集	评审	未微调	微调	未微调+Sanit.	微调+Sanit.
   Harmful1	Sonnet3.5	56.00%	98.00%	99.00%	98.00%
   Harmful1	GPT4	54.00%	98.00%	99.00%	97.00%
   Harmful2	Sonnet3.5	71.00%	99.00%	100.00%	100.00%
   Harmful2	GPT4	71.00%	99.00%	100.00%	100.00%
   Harmful3	Sonnet3.5	79.00%	96.00%	100.00%	100.00%
   Harmful3	GPT4	78.00%	96.00%	100.00%	99.00%
   Insults	Sonnet3.5	4.00%	100.00%	27.00%	99.00%
   Insults	GPT4	3.00%	97.00%	46.00%	98.00%

   • 作者称未微调模型在最大长度上很容易被越狱，微调基本消除越狱。非清洗四套的微调与未微调差异，论文都标为 p<0.05。
   • 作者称只做输入清洗就在三个数据集上消除越狱。与此相应，清洗攻击下 Harmful1/2/3 的未微调与微调差异未被标为显著；Insults 仍被标为显著，是该说法的例外。
   • 附录 Figure 8 给出三个有害数据集上未微调模型的越狱回答和微调模型的拒绝示例，此处不复述原文。

   NLL 斜率

   Table 1 的格子是最大可放入窗口的 shot 上的 last，括号内为斜率±CI。Figure 3 纵轴写的是 log average per-token NLL；表题写 NLL。星号含义：* 相对未微调，† 相对未微调和未微调+清洗，‡ 相对前三者。

   表格较宽，可左右滑动

   设置	Harmful1	Harmful2	Harmful3	Insults
   U	-0.11（−0.028±0.002）	0.12（−0.010±0.001）	0.14（−0.011±0.001）	0.25（−0.013±0.001）
   U+S	-0.06*（−0.022±0.002*）	0.16*（−0.003±0.001*）	0.15*（−0.007±0.002*）	0.29*（−0.013±0.001）
   FT	0.03†（−0.011±0.002†）	0.21†（0.010±0.001†）	0.16†（0.002±0.001†）	0.36†（0.001±0.001*）
   FT+S	0.03†（−0.013±0.001†）	0.22‡（0.003±0.001‡）	0.18‡（0.001±0.001†）	0.39‡（0.005±0.001‡）

   • 作者称清洗压平未微调的下行斜率，微调进一步压平并常常去掉下行趋势，组合同时抬高绝对 NLL。
   • 与「组合一律最有效」不完全对齐的标记：Insults 的 U+S 斜率无星号；Harmful1 的 FT 与 FT+S 的 last 都是 †；Harmful1 微调后斜率仍为负；Harmful3 的 FT+S 斜率是 † 不是 ‡。
   • 作者称在 Harmful1 上，把清洗后未微调模型 48-shot 的近乎无越狱，与未微调模型 94% 的 4-shot 表现插值，越狱大约从 NLL 1.0 开始；按微调斜率约在 28 shots、约 32K token，约为该模型窗口的 4 倍。Table 4 里 4-shot Harmful1 未微调适当率是 Sonnet3.5 96.00%、GPT4 93.00%，不是单独一格的 94%。论文未说明正文的 NLL 约 1.0 与 Table 1 的 last 是否同一尺度。

   少样本与零样本

   • 4-shot（Table 4）：作者称攻击通常无效；出现论文所标显著优势时，都偏向微调。非清洗 Harmful2：微调 100.00% 对未微调 94.00%（Sonnet3.5，p=0.0115）和 93.00%（GPT4，p=0.0061）。Insults 非清洗两名评审都是 98.00% 对 58.00%（p=0.0000）。
   • 例外：Harmful3 的 4-shot 上，微调适当率为 93.00% 与 92.00%，未微调为 97.00% 与 97.00%，p=0.1925 与 0.1187，论文未标显著。
   • 0-shot（Table 5）：八组比较论文都未标显著。例如 Insults 为微调 98.00%/97.00% 对未微调 98.00%/98.00%。

   能力保持

   • OR-Bench 与奇偶：作者称微调降低过度拒绝，且这一降低是显著的，适当拒绝率有非显著上升（Figure 5A）；奇偶任务上两者基本相同（Figure 5B）。正文没有给出这两张图的百分比或准确率。作者还称预训练时奇偶表现随示例数上升到某一点，未给数字。
   • MT-Bench（Figure 6）：第一轮未微调 8.25、微调 8.34，差 −0.09，95% CI [−0.63, 0.45]，p=0.7514；第二轮 7.45 对 7.12，差 0.33，CI [−0.28, 0.94]，p=0.2901；全部 7.85 对 7.73，差 0.12，CI [−0.33, 0.57]，p=0.5969。作者报告总体及任一提示类别都无显著差异；类别分数正文未列出。
   • 长对话：二元判断（Table 6）没有被标为显著的差异；Arena 上 GPT4 为微调 69.00% 对未微调 78.00%（p=0.1472），是表中最低的一组绝对适当率。成对比较（Table 2）则分出偏好：Harmless2 上 Sonnet3.5 为 67% 对 15%、GPT4 为 70% 对 11%（均 p<0.001），偏向微调；Nice 为 23% 对 52%、20% 对 59%，Arena 为 22% 对 53%、18% 对 53%，偏向未微调。Harmless1 只有 GPT4 被标显著（52% 对 29%，p=0.0107），Sonnet3.5 为 48% 对 36%（p=0.1913）。各行两列之和不是 100%，论文未解释剩余比例。作者称评审更喜欢微调模型按请求定制的拒绝，以及未微调模型在普通对话里更偏解释和列表的风格；附录 Figure 9、10 给了例子。

   其他消融与分析

   • 训练中标签一致与不一致：作者称大致同样有效，论文未给分开的数字。
   • 推理期转向与微调期着色：作者称不能稳定超过单独微调；正文未给这些尝试的 NLL。
   • 对假 assistant 回复也计损失：作者称斜率被压平（Figure 7），因担心学到不当行为而未采用；正文未给 Figure 7 的斜率数字。
   • 讨论中的对照：作者称若微调数据不含清洗示例，模型不能泛化出训练集；该对照的单独数字论文未报告。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出8192 token窗口偏小，且良性长对话偏离RLHF风格。

   作者指出的局限与后续方向

   • 窗口长度（4.2）：Llama3.1-8b 的上下文是 8192 token，作者称相对当今领先模型偏小。有害回答的 NLL 斜率有可能在比本文更多的 shot 上开始下降。
   • 反面论据与可能的补法（4.2）：作者称 Anil 等人在更大模型上把 shot 加到数百，并未看到斜率变化。若更长攻击上出现斜率下降，作者认为对更长 MSJ 做微调有可能缓解。
   • 上线前再测（4.2）：作者称在前沿实验室投入使用前，宜做进一步测试。
   • 风格偏离（4.2）：较长良性对话里相对未微调模型 RLHF 风格的偏离需要注意。作者怀疑微调数据里更多、更多样的良性提示可能减轻这一点。

   实验覆盖范围

   • 被测聊天模型为 Llama3.1-8B-Instruct。MSJ 适当性评审在方法节写作 Claude Sonnet3.5-new 与 GPT4-Turbo，Table 3 写作 Sonnet3.5 与 GPT4；MT-Bench 使用 GPT4。OR-Bench 的评审模型论文未点名。
   • NLL 评测为每套数据 100 个目标，shot 从 0 到 48、步长 2；生成用 greedy decoding。论文未报告多种子重复。方法节另写 Harmless3 为 28 shots，论文未说明它与 Harmful3 的关系。
   • 训练约 4000 例，全参数、1 epoch、学习率 1e-6。MSJ 提示由已有问答对抽样拼成。附录试了激活转向、着色，以及对假 assistant 计损失的变体；后者作者因风险未采用。
   • 能力评测包括 OR-Bench（Toxic 与 Hard 各 200）、奇偶任务（1 到 64 shots）、MT-Bench、Harmless1、Harmless2、Nice 和 ChatBot Arena。OR-Bench 与奇偶任务的具体百分比或准确率正文未给出。
   • 讨论节作者怀疑：未微调模型对清洗后 MSJ 的部分抵抗，来自它解析不了新标签；并怀疑在更大模型上，微调相对清洗的优势会更明显。

   收起这一问

6. 06总结一下论文的主要内容

   作者称微调加清洗能缓解MSJ，同时大体保住ICL与对话能力。

   这篇工作在 Llama3.1-8B-Instruct 上缓解 many-shot jailbreaking：长上下文中的假 assistant 不当示例会靠 ICL 压过安全训练。

   Anil 等人称输入清洗和微调只抬高幂律截距、斜率不变。作者改为在微调里同时放入标准标签和伪造标签，只对最后的合规恢复计损失，并混入普通对话与数值序列；评测时再看托管方是否剥掉用户输入中的标准角色标签。附录中的激活转向和着色，作者称未能稳定超过单独微调。

   • 行为结果：结果节所称最大长度（48 shots）上，Insults 经 Sonnet3.5 判适当率从未微调 4.00% 到微调 100.00%，GPT4 从 3.00% 到 97.00%（Table 3）。Harmful1 非清洗为 56.00%/54.00% 到 98.00%。清洗攻击下 Harmful1/2/3 的未微调已到 99.00% 或 100.00%，但 Insults 未微调仍为 27.00% 与 46.00%。
   • 斜率：未微调 Harmful1 的斜率为 −0.028±0.002（Table 1）。作者称微调改变的是幂律指数；除 Harmful1 外，微调后斜率为正。Harmful1 上 FT 与 FT+S 的 last 同为 0.03。
   • 能力：MT-Bench 全部轮次 7.85 对 7.73（p=0.5969）。作者称奇偶 ICL 基本保持，OR-Bench 过度拒绝下降。成对比较里，评审更偏好微调模型的拒绝、未微调模型的普通回答。
   • 作者的结论：该做法可并入安全后训练；开发者控制不了部署、因而可能做不了清洗时，也可只做微调。他们同时写明，开放权重上的安全微调可以被撤销，MSJ 也只是攻击途径之一。8192 token 以外斜率是否下降，以及良性长对话的风格偏离，作者认为还要再看。

   收起这一问

相关论文