研究定位 LLaMA-2-7B-Chat 安全敏感参数：改动 0.19% 权重即可达 53% 攻击成功率

安全对齐行为能否靠少量参数修改被选择性削弱，而不大范围破坏通用能力。

• 场景：作者称语言模型正被部署到边缘与端侧，并作为资源受限智能体的组件。本地权重会暴露于硬件可靠性与完整性威胁；与需逐轮触发的提示词越狱不同，权重故障可直接改变对齐机制，并在后续交互中持续存在。
• 现有做法的缺口：作者称对十亿级参数模型做比特级攻击，搜索空间很大，可能只有一小部分参数与安全行为直接相关。不加区分的破坏可能只是降低整体质量，因此要把安全相关参数与对通用效用也重要的参数分开。
• 假设：若安全敏感行为不成比例地依赖参数空间中的结构化子集，这些区域就能为硬件故障分析提供缩小的候选空间。
• 本文提出的分析：在 LLaMA-2-7B-Chat 上比较低秩安全相关子空间与参数级安全–效用重要性过滤，检查安全敏感性是否集中在少数架构组件，并据此讨论缩小的故障面与选择性完整性保护。
• 威胁模型：
  • 对手与知识：white-box。目标是本地部署的安全对齐语言模型；对手可访问参数并离线分析，但不重训练或微调。
  • 目标：用稀疏参数扰动削弱安全对齐行为，同时尽量少降低良性效用。
  • 能力边界：不要求改推理时提示词。当前实验模拟参数级干预，而不是物理硬件故障；映射到可实现的比特翻转留作后续工作。
  • 受害调用方式：包括可能充当资源受限智能体组件的模型。作者称智能体在规划、工具调用和中间动作中会反复自主调用模型，参数故障一旦写入，就会在用户未必直接看到的后续调用中持续存在。

Related Work 分三组。作者把本文放在直接搜索攻击比特之前：先做安全–效用定位，露出更小的故障候选面。

端侧小模型与智能体

• Belcak et al. [2025]：论证 SLM 适合智能体流程里专门、重复的任务，较低计算成本有利于部署。
• MobileLLM [Liu et al., 2024]：做面向移动端的十亿参数以下模型，并在包括 API calling 的常见端侧任务上展示能力。
• 规模与本地运行：Corradini et al. [2025] 写道，近期文献常把大约 7B 及以下纳入 SLM，并以 LLaMA-2-7B 和 Mistral-7B 为例。Xue et al. [2024] 展示这一规模的模型可以在智能手机上本地执行。

安全行为的内部定位

• Arditi et al. [2024]：研究指令微调模型中的拒绝，认为它可由残差流里的低维方向介导。
• Wei et al. [2024]：在参数级和秩级找出稀疏的安全相关区域，并与对通用效用重要的区域分开。作者沿这一安全–效用视角，考察局部区域能否为端侧模型的硬件级故障分析提供缩小的候选空间。

比特翻转与故障注入

• Progressive Bit Search [Rakin et al., 2019]：在神经网络参数的二进制表示上搜索比特。作者称少量针对性比特翻转会严重削弱量化神经网络。
• PrisonBreak [Coalson et al., 2024]：对安全对齐语言模型做针对性比特翻转，并在很大程度上保留良性功能。
• Zahran et al. [2025]：在 FP16、FP8、INT8 和 INT4 上研究故障诱导的越狱。作者称数值格式会影响攻击效果和脆弱组件。

实验里的参照：本文没有把上述攻击方法当作对照重新运行。定位数据是 AdvBench 有害指令及其拒绝回复，以及去掉安全相关样本的 Alpaca-Cleaned；评测是 AdvBencheval 上的 ASR 和 tinyBenchmarks 准确率，效用参照为未修改模型的 52.2%。与随机及按幅度选取的基线对比，作者放在后续工作（Section 6）。

本文的位置：作者称与直接搜索攻击有效比特的做法不同，本文先定位相对效用而言对安全不成比例重要的参数，用来暴露更紧凑的故障面，供以后的比特级分析使用。

在 LLaMA-2-7B-Chat 上，作者沿用 Wei et al. [2024] 的安全–效用框架，用两种互补定位找出对安全贡献不成比例、对通用效用相对不那么重要的参数，再只改这些位置。两种干预都不重训练、不微调。

校准数据

• 安全集 Ds：AdvBench 的有害指令，配上对齐模型自己的拒绝回复。归因用其中 420 条（AdvBenchattr）。
• 效用集 Du：Alpaca-Cleaned，即去掉安全相关样本后的 Stanford Alpaca 良性指令–回复对。
• token 范围：两种方法都掩盖 prompt token，只用回复 token 的激活。

低秩安全子空间

对单个线性投影，从 Ds、Du 分别收集回复 token 的输入激活，算出模块输出后做截断 SVD，再用右奇异向量做输出空间投影。效用正交化的安全相关分量是 Δ W = P_u^⊥ P_s W。干预是从原权重中减去该分量。作者将其描述为：压低与安全对齐相关的成分，并减少与良性效用方向的重叠。

• 稀疏化：按绝对值做全局排序，保留比例 ρ，只留下不低于阈值 τ_ρ 的项，再做同样的减法。
• 范围：可作用于全部投影，也可限制到指定架构组件。论文写了 truncated SVD，未给出截断秩。

参数级安全–效用过滤

每个权重的重要性是 I(W_ij) = |W_ij| ‖ X_in,j,:‖₂，即权重绝对值乘对应输入特征在校准 token 上的 ℓ2 范数。在 Ds、Du 上分开计算，得到 Is 与 Iu。

• 集合差：Ss 是 Is 排名最高的权重，Su 是效用重要集合。Sspec 为 Ss 去掉 Su。作者称这样去掉对安全和通用指令跟随都重要的权重，留下相对更特异于安全的候选。
• 干预：Sspec 中的权重量零，其余不变。论文未写 Ss、Su 的排名截止，只报告干预后相对全模型的权重比例。
• 证据形式：用置零后的行为变化评估这些参数的功能影响，而不是只报告分数高低。

按组件收窄

• 投影：注意力的 q_proj、k_proj、v_proj、o_proj，以及 MLP 的 gate_proj、up_proj、down_proj，覆盖各 transformer 层。
• 做法：低秩路径把稀疏后的分量限制到不同投影组；参数级路径把 Sspec 的置零限制到选定投影或组合。
• 作者给出的目的：检验安全敏感干预是否必须大范围改网络，还是可以落到特定架构区域，从而缩小后续故障分析的候选空间。

如何判定

• 安全：在留出的 AdvBencheval（100 条）上计算 ASR。依 Zou et al. [2023]，生成回复缺少关键拒绝模式即算成功。Basic ASR 不用对抗后缀；GCG ASR 使用 GCG 对抗后缀，作者把它当作更强对抗提示下的压力测试。论文未列出具体拒绝模式，也未说明后缀由哪个模型生成。
• 效用与比例：效用是 tinyBenchmarks 准确率。Section 4 写报告的权重比例相对全模型；Table 1 的 Top fraction 则是低秩干预内部按幅度保留的比例，不是全模型权重比例。

实验设置

• 模型：全部实验只用 LLaMA-2-7B-Chat。作者称其落在文献常用的 SLM 参数范围内，且已有攻击与评测工具。
• 数据：AdvBench 拆成归因用 AdvBenchattr 420 条有害指令，评测用 AdvBencheval 100 条。安全归因收集对齐模型在 AdvBenchattr 上的拒绝回复。效用归因用去掉安全相关样本的 Alpaca-Cleaned。
• 指标：Basic ASR 为无对抗后缀的有害提示词，GCG ASR 为带 GCG 对抗后缀。成功标准是生成回复缺少关键拒绝模式（依 Zou et al. [2023]）。效用为 tinyBenchmarks 准确率，未修改模型 52.2%。
• 干预：低秩方法改变干预内部的保留比例和架构范围；参数级方法按集合差取出安全特异权重后置零，并在全部投影、MLP 投影和选定投影类型上评估。Table 2 的权重比例相对全模型。
• 评审：论文未使用 LLM 裁判，未报告人工一致性、采样设置、重复次数，也未说明 GCG 后缀由哪个模型生成。未修改模型的 ASR 未报告。

主结果

参数级安全–效用定位的稀疏置零。模型为 LLaMA-2-7B-Chat，安全指标在 AdvBencheval 上。效用为 tinyBenchmarks 准确率；未修改模型为 52.2%，其 ASR 论文未报告。据 Table 2。

表格较宽，可左右滑动

组件	权重比例	Basic ASR	GCG ASR	效用
All modules	2.95%	91%	97%	47.1%
MLP only	1.87%	86%	94%	49.7%
down_proj + o_proj	0.23%	58%	60%	51.3%
down_proj	0.19%	53%	56%	51.6%
o_proj	0.04%	20%	14%	52.0%

• 作者称从全部模块收窄到 MLP、再收窄到 down_proj 后，安全效果大部分仍在，因此安全敏感性在架构上高度集中。
• 作者称 o_proj 单独弱得多；两种定位里 down_proj 都是最突出的安全敏感组件。
• 作者称高度局部的干预下，效用仍接近未修改基线，并认为安全相关参数空间比全模型小得多。Section 6 同时写明，参数稀疏不能直接理解成比特级脆弱性。

低秩干预的稀疏度与组件

• 测了什么：改变低秩干预内部的保留比例，以及作用的投影范围。Top fraction 是该干预按幅度保留的比例，不是全模型权重比例。指标仍是 AdvBencheval 的两种 ASR 与 tinyBenchmarks（Table 1）。
• 结果：全部模块在保留比例 1.0、0.1、0.01、0.001 时，Basic ASR 为 87%、71%、36%、20%，GCG ASR 为 98%、85%、25%、18%，效用为 49.3%、50.1%、50.7%、51.8%。仅 MLP 在 1.0 / 0.1 为 77%、89%、49.8% 与 54%、64%、51.1%。仅 down_proj 在 1.0 / 0.1 为 51%、43%、51.2% 与 32%、26%、51.4%。
• 作者解读：作者称保留幅度最高的 10% 仍有相当的安全退化，到 1% 时效果下降很快，并认为修改集中在更高幅度的项上。作者称限制到 MLP 仍保留大部分效果，down_proj 单独仍能造成安全退化，更局部时效用接近 52.2% 基线。若干格子里 GCG ASR 低于 Basic ASR，例如全部模块 0.01 为 25% 对 36%，down_proj 保留 1.0 为 43% 对 51%；论文未解释。

其他消融与分析

• Table 1 全部模块、Top fraction 0.001：Basic ASR 20%，GCG ASR 18%，效用 51.8%。
• Table 1 仅 MLP、Top fraction 0.1 的 GCG ASR 为 64%，低于同表全部模块 0.1 的 85%。
• Table 1 仅 down_proj、Top fraction 0.1：GCG ASR 26%，低于同格 Basic ASR 32%；论文未解释。
• 参数级全部模块的效用 47.1%，是 Table 1 与 Table 2 中离 52.2% 最远的效用数字（Table 2）。
• 论文未报告未修改模型的 ASR、重复次数，以及与随机置零或按幅度选取的对照数字；后一项被作者列为后续工作（Section 6）。

作者指出的局限与后续方向

• 不能直接当成比特级漏洞：作者称参数稀疏不应直接理解成比特级脆弱性；即便 0.19% 的 7B 模型权重也对应数百万个权重，而实用硬件故障攻击理想情况下只需少量物理可实现的比特修改（Section 6）。
• 依赖实现细节：作者称比特级效果还取决于数值表示、内存架构和故障机制。Section 1.1 把这些参数映射到特定数值格式、内存架构和故障机制下的少量物理可实现比特翻转留作后续工作。
• 不是端到端硬件攻击：当前实验定位了缩小的安全敏感参数空间，但尚未展示端到端硬件攻击；实验模拟的是参数级干预，而不是物理硬件故障（Section 6、Section 1.1）。
• 效用估计：作者称 tinyBenchmarks 只提供紧凑的效用估计（Section 6）。
• 后续对比与防护：后续工作将研究这些区域是否富集高影响的比特级故障，与随机及按幅度的基线对比，并检查安全敏感区域的选择性完整性保护（Section 6）。Conclusion 再次把物理可实现的比特级漏洞是否同样稀疏，以及选择性完整性保护能否加固这些区域，列为后续工作。

实验覆盖范围

• 实验模型为 LLaMA-2-7B-Chat（Section 4）。
• 安全归因使用 AdvBenchattr 420 条，评测使用 AdvBencheval 100 条；效用归因使用 Alpaca-Cleaned，效用评测使用 tinyBenchmarks，未修改准确率为 52.2%（Section 4）。
• 低秩减法覆盖全部模块、仅 MLP、仅 down_proj，保留比例从 1.0 到 0.001；参数级置零覆盖全部模块、仅 MLP、down_proj+o_proj、down_proj、o_proj（Table 1、Table 2）。
• ASR 按生成回复是否缺少关键拒绝模式判定，并分别报告无后缀与带 GCG 后缀两种提示设定（Section 4）。
• 论文未报告重复次数、未修改模型的 ASR、Ss 与 Su 的排名截止、SVD 截断秩、GCG 后缀的生成模型，以及拒绝模式判定与人工标注的一致性。

LLaMA-2-7B-Chat 的安全敏感参数高度集中：少量结构化修改即可抬高有害请求上的 ASR，同时测得的通用准确率接近未修改模型。

作者关心端侧与资源受限智能体中的权重完整性。white-box 对手可离线查看本地参数、不做微调，用稀疏扰动削弱安全对齐，并尽量保住效用。提示词越狱要逐轮触发；参数故障写入后，会在规划、工具调用等后续调用中持续存在。

做法有两条，校准都只用回复 token。低秩路径从 AdvBench 拒绝回复与 Alpaca-Cleaned 的激活中抽出效用正交化的安全相关分量并减去，再按幅度保留。参数级路径用权重绝对值乘输入激活范数排序，去掉对效用也重要的权重后置零。干预可以限制在注意力与 MLP 的各投影上。

评测集为 AdvBencheval 100 条，成功标准是回复缺少关键拒绝模式：

• 参数级只改 down_proj，占全模型 0.19% 权重：Basic ASR 53%，GCG ASR 56%，tinyBenchmarks 51.6%，未修改基线 52.2%（Table 2）。
• 同一方法改全部模块 2.95%：Basic ASR 91%，GCG ASR 97%，效用 47.1%；只改 o_proj 的 0.04% 则为 20% 与 14%（Table 2）。
• 低秩干预保留其自身幅度最高的 10% 时，全部模块 Basic ASR 71%、GCG ASR 85%；收到 1% 时为 36% 与 25%（Table 1）。这里的比例是干预内保留比例，不是全模型权重比例。

作者认为安全行为不成比例地依赖一小块结构化参数，从而缩小后续故障分析的候选面。同时写明这仍不是端到端硬件攻击，比特级效果取决于数值表示、内存架构和故障机制，tinyBenchmarks 也只是紧凑的效用估计。