续写与拒答之争：大语言模型中续写触发越狱的机制分析

为什么把 continuation-triggered 后缀挪到提示词边界之外，就能让已对齐模型继续生成有害内容。

• 现象：Figure 1 中，后缀接在有害指令后面时模型通常拒绝；放到提示词边界外、跟在用户提示之后时，模型会顺着该后缀继续生成。作者称这是 continuation-triggered jailbreak。
• 为何重要：作者称 prompt injection、对抗后缀和 prefill 等攻击，很多是在操纵 continuation。作者还引用 shallow alignment 的说法，认为只靠偏好数据做对齐时，提示结构一变就可能再次失效。
• 现有不足：作者称主流工作多做黑盒防御，较少解释攻击为何成功。ASGuard 用激活缩放和预防性微调处理时态越狱，作者认为这类方法主要补的是局部漏洞。
• 假设与做法：作者假设不同提示结构改变的是预训练续写驱动与对齐得到的安全能力之间的张力。本文在 LLaMA-2-7B-Chat 与 Qwen2.5-7B-Instruct 上做注意力头级因果干预，并据此提出推理时的 Head Competition Steering（HCS）及蒸馏。

越狱攻击

• continuation 类攻击：Zou et al. (2023) 的对抗后缀，Zhang et al. (2024a) 与 Shen et al. (2024) 的提示注入，Li et al. (2025) 的 prefill。作者称这些方法常常通过操纵 continuation 引出不安全输出。
• 其他仍有效的越狱：Alobaid et al. (2026) 的多步越狱、Chao et al. (2025) 的迭代攻击、Wu et al. (2025) 基于注意力与生成机制的攻击。Related Work 只把它们列为对齐后仍然有效的类型。
• ASGuard：Park et al. (2026) 找出与时态越狱相关的注意力头，并用激活缩放和预防性微调缓解。作者认为它主要处理局部漏洞，更一般的生成机制仍不清楚。

对齐与黑盒防御

• 偏好对齐：Christiano et al. (2017) 的 RLHF 与 Rafailov et al. (2023) 的 DPO，用偏好数据提高安全性。
• 黑盒防御：Zhou et al. (2024)、Hines et al. (2024)、Shi et al. (2025)。作者称这类工作侧重挡住攻击，较少解释攻击成功的内部原因。
• 浅层对齐：作者引用 Qi et al. (2025)，称数据驱动对齐往往只达到 shallow alignment。

机制可解释性

• 电路与因果干预：Elhage et al. (2021)、Olsson et al. (2022) 讨论头与电路的功能。Wang et al. (2022) 的 path patching、Zhang and Nanda (2023) 的 activation patching 用来做因果定位。
• 从解释到改进：Zhang et al. (2024b) 的 locate-then-improve；Stoehr et al. (2024) 用激活缩放做推理时转向。Zhao et al. (2025) 在层级别把有害性识别和拒绝执行分开，作者据此做到头级别。
• 对比解码：Li et al. (2023) 比较外部构造的模型变体。作者称 HCS 的信号来自同一模型里被因果定位的头组，而不是这种外部变体。

基线与基准：对照包括原模型、SFT 和 HCSrandom。数据为 AdvBench、JailbreakBench、MaliciousInstruct，无害指令用 Alpaca，效用用 MMLU 与 IFEval。

作者称本文是首个研究 continuation-triggered 越狱机制的工作，具体做法是把 continuation 指令挪到 user instruction marker 之后；并按 locate-then-improve，用定位结果指导推理时干预。

整体是先定位对越狱分布有因果作用的注意力头，再按置零后的 ASR 分成两类，最后用 Head Competition Steering（HCS） 在解码时放大 safety heads、抑制 continuation heads，并蒸馏成单次前向。

提示结构与 path patching

• 三种前向：clean run 用 Clean Prompt，模型拒绝；corrupted run 用 Jailbreak Prompt，引出有害续写；patched run 只把 clean run 里某一个头的激活换成 corrupted run 的对应激活。
• 效应定义：用 clean 分布到另一分布的 KL 衡量偏离。单个头的效应为 Δ_patch = D_KL(P_cl ∥ P_∗) − D_KL(P_cl ∥ P_pt)。论文称正值越大，该头越能把输出拉回 clean 行为，因而位于使越狱成立的因果路径上。
• 稀疏性：Figure 4 在 LLaMA-2-7B-Chat 上对 100 个样本平均。作者称多数头的 KL 变化小，第 15–17 层和第 25–27 层的一小部分头变化更明显。

功能划分与激活缩放

• 置零标准：推理时把选定头激活置零，其余不变。ASR 上升的定义为 Safety Heads，ASR 下降的定义为 Continuation Heads，变化可忽略的视为中性或弱相关。
• 缩放：注意力计算之后、残差相加之前，把激活 h 改为 h' = w·h。w>1 放大，w=0 完全抑制，w=1 保持原行为。不改参数，也不改输入分布。
• 目的：作者用缩放检验两类头对越狱的因果作用。论文未把这一步写成参数训练。

safety heads 的行为拆分

• 两个行为：Harmfulness Recognition 是判断指令是否非法、不安全或有害；Refusal Execution 是识别之后拒绝生成。作者称二者相关但可分开。
• reply inversion：在指令后追加反转查询，使有害输入对应接受类 token、无害输入对应拒绝类 token，从而把判断从固有拒答倾向里拆开。附录 B 给出完整提示词。
• 读出：缩放已定位的 safety heads，看生成是否出现判断反转，并用 HDR 统计被判为有害的比例。

HCS 与蒸馏

• 三次前向：每个解码步对同一输入做 base、safety、continuation 三次前向。后两次用同一个 w>1，分别放大两类头。每步贪心选 token。
• 组合：对比 logits 为 z_HCS = z_base + α · (z_safety − z_cont)，α>0。作者称这是加强 safety 激活带来的分布偏向，同时减去 continuation 激活的贡献。
• 蒸馏：HCS 每步三次前向。作者在训练提示上收集教师回复，用同一基座初始化的 LoRA 学生拟合教师在回复 token 上的词表分布；损失是温度缩放的 KL，只算提示边界之后的位置。学生之后单次前向。
• 系数：Appendix A.3 中 HCS 取 w=3；LLaMA-2-7B-Chat 取 α=3，Qwen2.5-7B-Instruct 取 α=2。LoRA 为 r=8、α_lora=16、dropout=0.05，训练 5 个 epoch，学习率 1×10^−5。SFT 使用同一 LoRA 配置和训练超参。论文未给出 KL 的具体温度。

成功判定

• ASR：生成有害或违反策略内容的测试输入比例。GPT-4 按预定义量表只输出 SUCCESS 或 FAILURE，覆盖拒绝、有害遵从和部分协助。附录 A.2 给出 Judge Prompt。
• HDR：reply inversion 中被识别为有害的指令比例，同样用 GPT-4。
• 效用：MMLU 与 IFEval 的 Acc.。Overall 对 JailbreakBench、MaliciousInstruct 的 ASR 取补后，与这两项一起求期望，越高越好（附录 A.2）。生成设 max_new_tokens=32，do_sample=False。

实验设置

• 模型：被测模型为 LLaMA-2-7B-Chat 与 Qwen2.5-7B-Instruct。评审模型为 GPT-4。
• 数据：AdvBench 有 520 条有害指令，用作蒸馏训练集。JailbreakBench 与 MaliciousInstruct 各 100 条，只作测试。reply inversion 的无害指令为 Alpaca 的 1000 条。效用指标来自 MMLU 与 IFEval。
• 方法对照：原模型、SFT、HCSrandom、HCS、KDHCS。论文没有单独定义 HCSrandom 的抽样步骤，只把它作为与 HCS 的对照。
• 指标：越狱用 ASR，反转任务用 HDR，效用用 Acc.，另有 Overall。
• 解码与系数：max_new_tokens=32，do_sample=False。HCS 主结果取 w=3；α 取 Appendix A.3 中作者称整体最好的值。
• 其他：附录 E 称实验在 4 张 NVIDIA A6000 48GB 上进行。论文未报告 ASR 的重复次数。

主结果

下表只列基线、HCS 与 KDHCS（据 Table 3）。JB 为 JailbreakBench，MI 为 MaliciousInstruct。

Swipe horizontally to read the table

设置	JB ASR	MI ASR	MMLU	IFEval	Overall
LLaMA-2-7B-Chat 基线	26.0	58.0	47.1	31.6	48.7
LLaMA-2-7B-Chat+HCS	11.0	10.0	48.1	29.8	64.2
LLaMA-2-7B-Chat+KDHCS	9.0	12.0	47.7	31.4	64.5
Qwen2.5-7B-Instruct 基线	36.0	68.0	74.1	72.5	60.7
Qwen2.5-7B-Instruct+HCS	9.0	7.0	71.8	61.6	79.4
Qwen2.5-7B-Instruct+KDHCS	8.0	5.0	74.1	71.9	83.3

• SFT：Table 3 中 LLaMA+SFT 的 JB/MI ASR 为 8.0/10.0，MMLU/IFEval 为 44.2/26.3，Overall 为 63.1。Qwen+SFT 为 18.0/11.0、70.6/59.2、75.2。作者称 SFT 降低了 ASR，但能力指标下降。
• 效用并非处处持平：作者称 HCS 与 KDHCS 在压低 ASR 时更大程度保留效用。表中 Qwen+HCS 的 MMLU 与 IFEval 仍低于该模型基线；KDHCS 更接近基线。
• 对照与蒸馏：HCSrandom 在 LLaMA 上 JB/MI ASR 为 24.0/53.0，Overall 为 49.7；Qwen 上为 30.0/67.0，Overall 为 60.5。作者称 HCS 的增益来自被定位的头组，而不是对比解码形式本身。作者认为 KDHCS 常接近或略好于教师，是因为推理时干预可能带来解码不稳定或过度转向，蒸馏把偏好写进参数后解码更平滑。

头的因果作用

• 置零：Figure 5 对 LLaMA 上 path patching 分数最高的 10 个头置零。作者称 (27,7) 在三个数据集上 ASR 上升，归为 safety head；(13,17) 在三个数据集上 ASR 下降，归为 continuation head。纯文本未保留各柱高度。
• 多头缩放：Table 1 在 LLaMA、w=5 下放大 1/2/3 个 safety heads，AdvBench ASR 为 11.7/4.8/4.4（基线 16.0），JailbreakBench 为 21.0/14.0/16.0（基线 26.0），MaliciousInstruct 为 41.0/25.0/16.0（基线 58.0）。放大 3 个 continuation heads 则分别为 64.2、63.0、92.0。作者称 JailbreakBench 上 3 个头的 16.0 高于 2 个头的 14.0，头之间有非线性相互作用。
• 单头趋势：作者称 Figure 6 中增大 safety heads 的 w 使三个数据集 ASR 下降，continuation heads 相反，且 w>4 后下降饱和；w=1 为不缩放基线。端点数值在纯文本中不可核对。Figure 9 对 Qwen 的文字结论相同。

safety heads 的 HDR

• LLaMA：Table 2 中 AdvBench 的 HDR 在 w=0 为 51.5，w=1 为 89.0，w=5 为 96.2；Alpaca 从 w=1 的 0.2 到 w=5 的 2.0。正文写 w=0 时为 0.515，与表中 51.5 记法不同，此处以表为准。作者认为这些头主要支持有害指令识别，过大的 w 可能把无害输入判错。
• Qwen：AdvBench HDR 在 w=1 为 97.1，w=4 为 57.1，w=5 为 44.6；Alpaca 在全部 w 上为 0.0。作者认为这些头主要管拒绝执行，过度放大后会拒绝本应判为有害的提示，从而降低 HDR。
• 作者结论：作者称在该越狱任务上，两个模型的 safety heads 负责的行为不同。

其他消融与分析

• Table 6：LLaMA 置零 3 个 safety heads，ASR 为 AdvBench 34.0、JailbreakBench 38.0、MaliciousInstruct 75.0；置零 3 个 continuation heads 则为 11.2、20.0、44.0。
• Table 6：随机头置零对三组独立抽样取平均，AdvBench 为 15.6，JailbreakBench 为 25.0–26.0，MaliciousInstruct 为 56.0–58.0，接近各自基线。
• Table 4：LLaMA 上 HCS 的 α=1/2/3/4，JB ASR 为 20.0/14.0/11.0/15.0，MI 为 28.0/15.0/10.0/9.0；作者称整体最好为 α=3。
• Table 5：Qwen 上 α=1/2/3/4，JB ASR 为 10.0/9.0/16.0/18.0，MI 为 9.0/7.0/10.0/18.0；作者称最好为 α=2。
• Figure 7、Figure 8 给出 Qwen 的 path patching 与 top-10 头置零。正文未给出可核对的 KL 或逐头 ASR。
• 附录 D 给出放大 continuation heads 后，两模型从拒绝转为按后缀续写的示例。

作者指出的局限与后续方向

• 模型规模：实验在 LLaMA-2-7B-Chat 与 Qwen2.5-7B-Instruct 上完成。作者称扩展到 13B 或 70B 会加强所定位的 safety heads 与 continuation heads 的可推广性，并留作后续（Limitations）。
• 攻击类型：机制框架只在 continuation-triggered jailbreaks 上建立和验证。作者称对抗后缀、多轮越狱和 role-play 攻击中是否也有类似的头级竞争，是计划做的扩展（Limitations）。

实验覆盖范围

• 模型与数据：被测模型为上述两个 7B 指令模型（Section 4.1）。越狱集为 AdvBench 520 条、JailbreakBench 100 条、MaliciousInstruct 100 条；HDR 的无害集为 Alpaca 1000 条；效用为 MMLU 与 IFEval（Appendix A）。
• 干预：主对比含原模型、SFT、HCSrandom、HCS、KDHCS（Table 3）。头分析含 path patching、置零，以及 w=0 到 5 的缩放（Figure 4–6、Table 1、Table 2、Table 6）。
• 协议：生成长度为 32 个新 token，贪心解码（Section 4.1）。LLaMA 的 path patching 对 100 个样本平均（Figure 4）。随机头消融对三组独立抽样取平均（Appendix D）。
• HCS：主实验 w=3；LLaMA 的 α=3，Qwen 的 α=2（Appendix A.3）。蒸馏用 AdvBench 上的 HCS 回复训练 LoRA，JB 与 MI 作测试（Appendix A.1）。
• 未报告项：论文未报告 GPT-4 评审与人工的一致性，未报告 HCS 主实验中被放大的 head 数量，也未报告 ASR 的重复次数或方差。

作者用注意力头机制分析 continuation-triggered jailbreak：同一有害指令下，把 continuation 后缀从指令后面挪到提示词边界外，模型更容易顺着后缀继续生成。

• 问题：模型按 next-token prediction 预训练，又经过对齐。作者假设提示结构改变的是续写驱动和安全能力谁来主导下一步。
• 做法：path patching 找出中后层的少数关键头。置零后 ASR 上升的是 safety heads，下降的是 continuation heads。HCS 在每个解码步做三次前向，放大前者、抑制后者；LoRA 学生再拟合教师在回复 token 上的分布，变成单次前向。成功与否由 GPT-4 判 SUCCESS 或 FAILURE。
• 机制数字：LLaMA-2-7B-Chat 上，w=5 放大 3 个 safety heads 时，AdvBench ASR 为 4.4（基线 16.0），MaliciousInstruct 为 16.0（基线 58.0）（Table 1）。Qwen2.5-7B-Instruct 上把 safety heads 放到 w=5，AdvBench HDR 从 97.1 降到 44.6（Table 2）。作者称前者的 safety heads 更偏向有害识别，后者更偏向拒绝执行。
• 干预数字：Table 3 中，Qwen 的 KDHCS 在 JailbreakBench / MaliciousInstruct 上 ASR 为 8.0 / 5.0，基线为 36.0 / 68.0，MMLU 仍为 74.1。LLaMA 的 KDHCS 为 9.0 / 12.0，基线为 26.0 / 58.0，IFEval 为 31.4（基线 31.6）。HCSrandom 的 ASR 下降小得多。Qwen 的 HCS 本身仍降低 MMLU 与 IFEval，蒸馏后更接近基线。
• 作者结论：作者称这一越狱来自 continuation 驱动与对齐安全能力的冲突；HCS 加蒸馏可以把头级竞争变成推理时干预。作者同时指出，目前只在两个 7B 模型和这一类越狱上验证。