Depth Charge：从深层安全注意力头越狱大语言模型

1. 01这篇论文试图解决什么问题？

   开源LLM的浅层越狱易被对齐挡住，SAHA改从深层安全注意力头做白盒扰动。

   开源 LLM 在对齐之后，仍可能被从深层注意力头发起的越狱利用。

   • 场景：作者称 OSLLM（如 Llama、Qwen）权重与结构公开，恶意用户可借其生成不安全内容；发布前的渗透测试因此被作者视为必须，用来发现漏洞并补齐对齐语料。
   • 现有不足：作者把已有越狱分为提示词级与嵌入级，称它们打在浅层，易被浅层安全对齐挡住。文中举例：随机丢 token 的检查可防提示词级攻击（Cao et al., 2024），层特异的语义编辑可对抗嵌入级攻击（Zhao et al., 2024）。作者认为这样会留下安全假象。
   • 观察：作者称更深的注意力层对越狱更脆弱，被忽略的注意力头可以用来越狱。他们要回答的问题是：从更深的层动手时，开源 LLM 是否仍然安全；作者的回答是否定的。
   • 方法：提出 SAHA。AIR 用消融掉点定位与安全相关的头，LWP 按层施加最小扰动，以引出不安全生成。
   • 威胁模型：
     • 目标：输出 y 与恶意目标提示 p_t 语义对齐，且外部裁判 J(y)=0；内部安全分类器需把扰动后的嵌入判为良性，即 f_cls(e+p)=1。
     • 知识：方法假设能读取内部表征并训练安全分类器。Limitations 称整体为 white-box，需要内部注意力机制与梯度。
     • 能力：向恶意嵌入 e 加扰动，e′=e+p。总幅度不超过 ε，打在与安全机制强耦合的头上的分量不超过 η，且 η 远小于 ε。论文未给出 ε、η 的实验取值。
     • 受害系统：已做指令微调并对齐的开源 LLM。实验为 Llama3.1-8B-Instruct、Qwen1.5-7B-Chat、Deepseek-LLM-7B-Chat。实验中的不安全判定使用 Llama-Guard-3-8B。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖提示词级、嵌入级越狱与注意力头，作者把本文放在头这一层。

   论文按攻击面与注意力头两条线组织相关工作，并把本文放在比嵌入更靠里的头级别。

   • 提示词级越狱：GCG（Zou et al., 2023）在词表里贪心搜索替换；PAIR（Chao et al., 2023）用攻击者 LLM 改写被拒绝的提示；AutoDAN-Turbo（Liu et al., 2025）自动搜索策略，再用来生成对抗提示。作者称这类方法只改输入，编码器上施加简单对齐后效果变差，并引用 Liu et al.（2024b）与 Li et al.（2024）：前者形式化提示注入并显示编码器侧防御可降低成功率，后者显示检索上下文中的注入指令能影响指令微调模型，而检索与编码器侧缓解能降低可利用性。
   • 嵌入级与激活转向：SCAV（Xu et al., 2024）用概念激活向量扰动嵌入；CAA（Rimsky et al., 2024）用对比激活的均值差做 steering vector。作者引 Arditi et al.（2024）称残差流中的单一拒绝方向中介安全：消融该方向会去掉拒绝，放大则会引起拒绝。作者引 ReFAT（Yu et al., 2024）称强化或净化拒绝特征会降低激活级与输入级越狱的成功率。
   • 注意力头：作者引 Voita et al.（2019）、Kovaleva et al.（2019）、Marks et al.（2025）等，称行为由稀疏的一组头支配，少数头承担句法、事实回忆等功能。PASTA（Zhang et al., 2023）取多任务 top-k 头的交集并调整注意力分数；Han et al.（2025）用选择性掩码筛出协作头。Sahara（Zhou et al., 2025b）用消融引起的表征偏移找安全关键头，保留通路内的头、掩掉通路外的头，以引导特定功能。论文没有把 Sahara 写成越狱基线。
   • 基线与基准：实验基线为 PAIR、GCG、AutoDAN（Liu et al., 2024a）、AutoDAN-Turbo、SCAV、CAA、ConVA（Jin et al., 2025）。基准为 JailbreakBench（Chao et al., 2024，100 条有害行为）与 MaliciousInstruct（Huang et al., 2024，100 条、十类恶意意图）。

   作者认为攻击面从提示词深入到嵌入后，越狱往往更有效，原因是现有安全对齐触及的深度有限。作者称本文首次把单个注意力头当作结构性、原子性的因果单元，而不是只打更深的拓扑层或聚合后的残差流。

   收起这一问

3. 03论文如何解决这个问题？

   SAHA用AIR按消融掉点选头，再用LWP按层注入闭式最小扰动。

   SAHA 先定位与安全相关的注意力头，再向这些头的激活加由线性安全分类器闭式解得到的扰动，使内部探针把恶意嵌入判为良性，从而让模型生成被外部裁判判为不安全的输出。

   问题设定

   • 越狱被写成对预训练模型 M_θ 的约束优化。目标是输出 y 与恶意提示 p_t 语义对齐，且外部裁判 J(y)=0。
   • 恶意嵌入 e 会触发拒绝。攻击者构造 e′=e+p，希望内部分类器 f_cls(e+p)=1，从而不触发防御。
   • 在总幅度不超过 ε 时最大化语义效用 U；同时 J 判输出不安全，且安全相关头上的扰动分量不超过 η，η 远小于 ε。
   • 论文未给出实验里 ε、η 的取值。Figure 1 把流程画成：由良性与恶意样本的线性可分性得到 steering vector，AIR 选头，LWP 按层分配并注入。

   AIR

   • 假设可使用在目标模型内部表征上训练的安全分类器 f_cls。主文的数据写成 D，标签表示对应输出是否安全。附录 C.1 用逻辑回归实现 Latent Safety Probe：200 条，良性 100 条来自 alpaca-cleaned，恶意 100 条来自 strongreject；取最后 token 的隐状态，并排除出现在评测基准中的提示。良性标为 1，恶意标为 0。论文未报告该探针的准确率。
   • 对每个头 i 将其输出置零，比较分类准确率。重要性为 Δ_i = Acc_orig − Acc⁽ⁱ⁾，即消融前后准确率之差。按该差值降序取 top-k。
   • 为减轻对单一稀疏度的敏感，在 α 属于 {0.25, 0.3, …, 1.0} 上重复选择，用头 (ℓ, h) 的入选频率组成全局关键头集。
   • 作者称 AIR 直接测量对安全的因果影响。对照 APR 只看单头线性探测的准确率，不看消融掉点。

   LWP

   • 每个层单独设预算。层 ℓ 有 n_ℓ 个头时，扰动头数为 k_ℓ = floor(α · n_ℓ)，层内按 AIR 分数取前 k_ℓ 个，再跨层合并。α 在 (0, 1]。
   • 选中集合上的单位方向 v 加到拼接激活上，扰动后的表示为原激活加 εv。ε 控制幅度。
   • 线性分类器参数为 (w, b)。文中把攻击成功写成交叉熵低于阈值 L_0，并把 P_0 定义为 e 的 −L_0 次方。最小幅度满足 ϵ ≥ [log(P₀/(1−P₀)) − (w^⊤ e + b)] / (w^⊤ v)，最优 v 取 w 在选中坐标上的归一化投影。该式是把线性探针推过决策边界所需幅度的下界。
   • 论文未报告实验使用的 P_0、L_0 或默认 α。附录 A 从目标类交叉熵的一阶展开推导最小扰动，再在 sigmoid 的线性区内近似回 logit 形式。对照 GWP 把全部头当成一个池，k = floor(α · N)。

   注入与判定

   • 扰动加在选出的头的激活上。作者称这样把攻击容量集中在安全相关计算上，并减少对语义处理的附带干扰。
   • 实验中的判定与优化目标分开：ASR 看 Llama-Guard-3-8B 是否把输出标为不安全；BERTScore 用 Sentence-BERT 衡量提示与回复的语义相似度，对 token 相似度取算术平均。
   • 5.3 称 AIR+LWP 用作默认配置，但未写主表对应的单一 α。

   收起这一问

4. 04论文做了哪些实验？

   三个开源模型、两个各100条基准上，Table 1里SAHA的ASR均高于所列基线。

   实验设置

   • 被测模型：Qwen1.5-7B-Chat、Llama3.1-8B-Instruct、Deepseek-LLM-7B-Chat（Table 1 写作 Deepseek-llm-7B-Chat）。三者均为发布前已指令微调并对齐的 decoder-only Transformer；论文称它们在规模、头配置与对齐策略上不同，正文未写具体头数。
   • 基准：JailbreakBench 为 100 条不同有害行为；MaliciousInstruct 为 100 条有害指令，均匀分布在十类恶意意图，文中举例 sabotage、theft、hacking。探针另用 alpaca-cleaned 与 strongreject 各 100 条，且排除评测基准中的提示（附录 C.1）。
   • 基线：提示词级 PAIR、GCG、AutoDAN、AutoDAN-Turbo；嵌入级 SCAV、CAA、ConVA。Table 1 另有 Based 行，论文未说明该行定义。消融对照为 APR 与 GWP。
   • 指标：ASR 为 Llama-Guard-3-8B 判为不安全的输出比例。BERTScore 由 Sentence-BERT 计算提示与生成回复的语义相似度，对 token 级相似度取算术平均。
   • 评审：不安全判定模型为 Llama-Guard-3-8B。论文未写判定阈值、重复次数，也未写 Table 1 使用的 α、ε、η、P_0。PAIR 的攻击者 LLM 论文未说明。
   • 探针：每个受害模型单独训练逻辑回归 LSP，标签为良性 1、恶意 0。论文未报告探针准确率。

   主结果

   据 Table 1。格子为 ASR / BERTScore。最后一列是该表中 ASR 最高的非 SAHA 行，不是论文原列名。

   表格较宽，可左右滑动

   模型	基准	SAHA	ASR 最高的其他行
   Llama3.1-8B-Instruct	JailbreakBench	0.85 / 0.76	PAIR 0.57 / 0.07
   Llama3.1-8B-Instruct	MaliciousInstruct	0.87 / 0.84	SCAV 0.68 / 0.82
   Qwen1.5-7B-Chat	JailbreakBench	0.82 / 0.75	SCAV 0.71 / 0.73
   Qwen1.5-7B-Chat	MaliciousInstruct	0.86 / 0.81	ConVA 0.85 / 0.4
   Deepseek-llm-7B-Chat	JailbreakBench	0.91 / 0.70	SCAV 0.85 / 0.71
   Deepseek-llm-7B-Chat	MaliciousInstruct	0.81 / 0.77	SCAV 0.74 / 0.80

   • 作者称 SAHA 在 ASR 与语义保真上均持续优于基线，并跨架构稳定。Table 1 的六格 ASR 里 SAHA 都高于所列基线；BERTScore 有反例：Llama3.1 的 JailbreakBench 上 SCAV 为 0.77，SAHA 为 0.76；Deepseek 的 JailbreakBench 上 SCAV 为 0.71，SAHA 为 0.70；Deepseek 的 MaliciousInstruct 上 SCAV 为 0.80，SAHA 为 0.77。
   • 作者称提示词级方法跨模型不稳定，嵌入级方法常在成功率与语义之间取舍。Table 1 中 ConVA 在 Deepseek 的 MaliciousInstruct 上为 0 / 0；AutoDAN-Turbo 在 Deepseek 的 JailbreakBench 上为 0.13 / 0.11。
   • 摘要称 SAHA 比 SOTA 基线提高 ASR 14%，未写明模型、基准与对照。Table 2 的 AIR+LWP 与 Table 1 的 SAHA 在部分 BERTScore 上不一致：Qwen 的 MaliciousInstruct 为 0.82 对 0.81，Deepseek 的 JailbreakBench 为 0.72 对 0.70，Deepseek 的 MaliciousInstruct 为 0.79 对 0.77。论文未解释这一差异。

   选头与分配消融

   • Table 2 比较 APR/AIR 与 GWP/LWP。作者称即使用 LWP，APR 的 ASR 仍低于 AIR，因而探测式选头不如消融式选头。
   • 反例：Deepseek-llm-7B-Chat 的 MaliciousInstruct 上，APR+LWP 的 ASR 为 0.82，AIR+LWP 为 0.81（BERTScore 为 0.78 与 0.79）。
   • Llama3.1 的 MaliciousInstruct 上，AIR+GWP 为 0.62 / 0.75，AIR+LWP 为 0.87 / 0.84。作者称换成全局分配会损害语义保真，并在若干设置降低 ASR，文中举例 Qwen1.5。

   保留比例与幅度

   • Figure 3–4：作者称各模型、各策略的 ASR 随 α 单调上升。Llama3.1 在 α 约 0.45 附近有门槛；除 AIR+GWP 外，Qwen 与 Deepseek 从较高起点逐渐饱和。作者称 α 在 0.5 到 0.7 时，Qwen 与 Deepseek 已接近峰值，Llama 需要越过自身门槛。转换文本读不到曲线上的具体 ASR。
   • Figure 2 与 Figure 5：作者称 α 下降时，每头所需扰动幅度上升。提取文本里这两图横轴标为 0.3 到 1.0、纵轴为 magnitude，图例为三个模型；论文未在正文给出端点数值。

   安全关键头的位置

   • Figure 12 画的是 AIR+GWP 下各头入选频率；图注称颜色表示跨全部 α 的入选频率，红圈标出最常被选的 10 个头。转换文本看不到颜色与红圈位置。
   • 作者称最后一头 Head 31 在各模型中较突出；Deepseek 的关键头在中上层较分散，Llama3.1 约在第 7 层，Qwen1.5 约在第 5 层并另有低层激活。作者认为安全信号的内部路由因模型而异，因而更倾向按层、按模型加固，而不是统一的浅层防御。

   其他消融与分析

   • 引言称低扰动预算下仍然有效，并称对复合防御仍然有效；实验节未给出预算数值、防御名称或对应 ASR。
   • 5.3 称 Figure 6–11 中 LWP 更均匀、GWP 不成比例地集中在浅层；5.4 称 AIR+GWP 在 α 缩小时把大幅度扰动集中到更深层。两处描述不同，论文未解释。
   • 附录 Figure 13–14 比较头集合的 Jaccard 相似度随 α 的变化，正文未给出可读的具体相似度。
   • 附录 C.1 的探针为每模型 200 条上的逻辑回归；论文未报告探针准确率。
   • Table 1 的 Based 行论文未定义。JailbreakBench 上该行 ASR 为 0.06、0.06、0.29（Llama3.1、Qwen、Deepseek）。
   • 引言提到 statistical testing，正文未给出检验统计量。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出SAHA需要白盒梯度，且头选择策略针对Transformer。

   作者指出的局限与后续方向

   • 白盒（Limitations）：需要内部注意力机制与梯度，因此不能直接用于 black-box 商业 API。作者称该设定是给开发者和安全研究者做开源权重的发布前红队与机制分析。
   • 架构（Limitations）：方法针对 Transformer 的注意力头。作者称若转向其他架构（文中举例 state-space models），安全关键组件的形态可能改变，头选择策略可能需要改编。
   • 对齐（Conclusion）：作者称需要能防御更深层表征中漏洞的对齐技术。

   实验覆盖范围

   • 被测模型为 Llama3.1-8B-Instruct、Qwen1.5-7B-Chat、Deepseek-LLM-7B-Chat，共 3 个（Section 5.1）。
   • 攻击评测为 JailbreakBench 与 MaliciousInstruct，论文均写 100 条；后者覆盖十个恶意意图类别。
   • 对照包括 PAIR、GCG、AutoDAN、AutoDAN-Turbo、SCAV、CAA、ConVA，以及 APR/AIR、GWP/LWP 与保留比例 α（Table 1、Table 2、Figure 3–4）。
   • 不安全判定为 Llama-Guard-3-8B，语义指标为 Sentence-BERT 的 BERTScore。探针数据为 alpaca-cleaned 与 strongreject 各 100 条（附录 C.1）。
   • 论文未报告重复次数、Llama-Guard 阈值、Table 1 的 α、ε、η、P_0、PAIR 的攻击者 LLM、复合防御的设置与结果，以及引言所提 statistical testing 的数值。

   收起这一问

6. 06总结一下论文的主要内容

   SAHA从注意力头做白盒越狱；Table 1中三个模型的ASR均高于所列基线。

   SAHA 是面向已对齐开源 LLM 的白盒注意力头越狱。

   • 作者关心的问题是：提示词级和嵌入级攻击被浅层对齐挡住之后，从更深的注意力头动手是否仍能引出不安全输出。
   • AIR 用线性安全探针的消融掉点，并在多个保留比例上统计入选频率来选头；LWP 按层把预算分给层内排名靠前的头，再沿分类器权重的投影注入闭式最小扰动。
   • Table 1 的 ASR 在两个基准、三个模型上均为所列方法中最高：JailbreakBench 上 Llama3.1-8B-Instruct 为 0.85，Qwen1.5-7B-Chat 为 0.82，Deepseek-llm-7B-Chat 为 0.91；MaliciousInstruct 上分别为 0.87、0.86、0.81。BERTScore 有低于 SCAV 的格子。
   • 作者称头级别比更浅的攻击面风险更高，只检查输入或浅层表征不够，应对齐或监控这些头。Limitations 称这依赖 white-box，且针对 Transformer。

   收起这一问

相关论文