权重更少，问题更多：针对 LLM 剪枝的实用攻击

1. 01这篇论文试图解决什么问题？

   攻击者能否发布剪枝前正常、经 vLLM 剪枝后才显露恶意行为的模型。

   核心问题：LLM 剪枝能否被攻击者恶意利用——构造一个看似正常、但一经用户剪枝就激活恶意行为的模型。

   • 场景与重要性：Hugging Face 等平台普及模型共享，vLLM 等推理引擎（GitHub 超 50k stars）内置 Magnitude、SparseGPT、Wanda 三种剪枝算法，用户常在部署前自行剪枝下载的模型。作者认为剪枝的安全影响尚未被充分研究。
   • 现有工作不足：作者称，此前关于剪枝与安全的研究（如剪枝作为后门防御、剪枝破坏对齐）分析的都是对已含恶意行为的模型做事后剪枝的影响；攻击者主动利用用户本地剪枝在部署时引入/激活恶意行为这一方向未被探索。
   • 核心观察：各剪枝算法的重要性分数高度相关，攻击者可在训练时预估每个参数被剪的概率，据此把恶意行为藏进不会被剪的参数、用会被剪的参数掩盖它。
   • 论文提出：作者称为首个剪枝激活攻击（pruning-activated attack），含分数预估、注入、修复三步；在五个模型、三种攻击场景、三种剪枝算法上评测，并讨论潜在防御。
   • 威胁模型（§4.1，沿用此前 post-training transformation 攻击的设定）：
     • 目标：发布的模型在剪枝前表现正常，经 vLLM 三种剪枝算法中任意一种处理后激活恶意行为，且对配置选择鲁棒。
     • 知识：知道 vLLM 的公开剪枝算法，可本地模拟；不知道用户选择的具体算法、稀疏度或校准数据集。
     • 能力：发布前完全控制预训练 checkpoint，拥有 full white-box 访问权限，可微调。
     • 受害系统：从模型 hub 下载该模型并用 vLLM 现成剪枝方法处理的部署用户；发布后攻击者不再有任何控制。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖 LLM 攻击、剪枝算法、剪枝与安全交叉研究，本文与转换触发型攻击最接近。

   LLM 安全攻击

   • 数据投毒后门：Carlini et al. (2024) 针对预训练、Shu et al. (2023) 针对指令微调、Rando & Tramèr (2023) 针对 RL 对齐阶段投毒，使模型在特定推理触发下表现恶意。
   • 越狱攻击：用户作为攻击者绕过安全机制，包括黑盒搜索方法（Chao et al., 2025; Deng et al., 2023）、白盒梯度方法（Zou et al., 2023）和少样本微调（Qi et al., 2024）。
   • 转换触发型攻击：与本文最接近的一类——攻击者发布看似正常的模型，经特定转换后变恶意；已有工作针对量化（Egashira et al., 2024; 2025）和微调（Gloaguen et al., 2025）。论文指出剪枝是否同样可被利用此前不清楚。

   剪枝方法

   • 结构化剪枝：Ma et al. (2023)、Zhang et al. (2023) 按块剪枝，硬件效率高但精度损失大或需重训练。
   • 非结构化剪枝：vLLM 内置的三种——Magnitude（Han et al., 2015）、SparseGPT（Frantar & Alistarh, 2023）、Wanda（Sun et al., 2023），无需重训练即可在低精度损失下达到高稀疏度，与本文威胁模型直接相关。

   剪枝与安全

   • 剪枝作防御：视觉领域用剪枝防御后门（Liu et al., 2018; Chen et al., 2022; Wu & Wang, 2021）；LLM 上 Huang et al. (2024) 用剪枝缓解有害微调攻击，Awal et al. (2025)、Chapagain et al. (2025) 研究剪枝对对抗鲁棒性或后门防御的影响。
   • 剪枝破坏对齐：Wei et al. (2024) 称移除精心选择的一组权重可破坏对齐。论文指出这些工作都是对已表现恶意的模型做事后剪枝，本文视角相反：攻击者主动利用用户剪枝在部署时激活恶意行为。

   基线与基准：本文无对比攻击基线；评测使用 HEx-PHI（越狱）、databricks-dolly（过度拒答、内容注入）、LLM-LAT（训练数据）及 MMLU、ARC-Challenge、HellaSwag、HumanEval、GSM8K 五个效用基准。作者将本文定位为把转换触发型攻击扩展到剪枝这一新触发器。

   收起这一问

3. 03论文如何解决这个问题？

   用 Wanda 分数预估被剪概率，向不会被剪的参数注入恶意行为、用会被剪的参数修复掩盖。

   整体思路：攻击者预估每个参数被剪的概率，把恶意行为注入不可能被剪的参数，再用可能被剪的参数做修复训练抵消该行为，使模型剪枝前正常、剪枝后恶意。方法为三步流程（Algorithm 1）。

   目标剪枝算法（§3）

   • Magnitude：按权重绝对值 |W| 打分，每层全局阈值，剪掉绝对值最低的 S%。
   • Wanda：分数为 |W| · ||X||2（权重绝对值乘校准数据上输入特征的范数），按行独立阈值。
   • SparseGPT：分数为 |W|²/diag((XᵀX + λI)⁻¹)，按块（通常 128 列）迭代打分、阈值化，并对剩余权重做一次性补偿。
   • 三者分数高度相关，这是攻击能同时针对三种算法的前提。

   三步攻击（§4.2）

   1. 分数预估：用校准数据集计算 Wanda 分数，选分数最高的 αinj % 参数用于注入、最低的 αrep % 用于修复。作者称各方法剪枝分数高度相关（§6.2 验证），故只用 Wanda 分数即可同时针对三种算法。
   2. 注入：冻结其余 (100 − αinj)% 参数，只用注入参数在有害数据集 Dinj 上微调；同时在通用指令数据集 Dreg 上对基座与受攻击模型的输出加 KL 散度正则，保持通用能力。
   3. 修复：冻结其余 (100 − αrep)% 参数，只用修复参数在无害数据集 Drep 上微调，抵消注入行为；同样加 KL 正则。

   关键设计选择

   • 修复集取很小（如 αrep = 1%）：作者称修复效果需比注入更脆弱，因为用户实际剪枝与攻击者预估可能有差异（激活跨层传播、SparseGPT 的层内补偿）；小的修复集使修复参数几乎全被剪掉（多数情况 > 99%）。
   • 参数设置：αinj = 50%（所有场景）；αrep = 5%（越狱、过度拒答）、1%（内容注入）。
   • 校准数据：攻击者用 C4 的 512 个样本预估分数，模拟用户用 WikiText 的 512 个样本评测（均为 vLLM 默认选项）。
   • 训练超参（§A.1）：学习率 5e−5（Qwen2.5-7B、Llama3.1-8B、OLMo-2-7B）或 1e−5（Mistral-7B、Gemma-2-9B），有效 batch size 32，注入和修复各训 1 epoch；安全数据用交叉熵损失，通用数据 KL 损失系数 0.01。

   成功判定

   攻击成功需同时满足：(i) 剪枝前受攻击模型保持高效用、ASR 与基座相当；(ii) 剪枝后 ASR 升高。三个场景的 ASR 由 GPT-4.1-mini 判定（越狱按 5 分制 ≥ 4 计成功）。

   收起这一问

4. 04论文做了哪些实验？

   五模型三场景七剪枝配置，剪枝后 ASR 最高 95.7%/98.7%/99.5%，剪枝前与基座相当。

   实验设置

   • 被测模型：Qwen2.5-7B、Llama3.1-8B、OLMo-2-7B（正文），Gemma-2-9B、Mistral-7B（附录 B）；附录另有 Qwen2.5-14B/32B-Instruct。均为指令微调版。
   • 攻击场景：越狱（HEx-PHI 300 条查询评测）、过度拒答（databricks-dolly 1.5k 条评测）、内容注入（databricks-dolly 1.5k 条，目标词 "McDonald's"）。
   • 剪枝配置：每场景测七种——Wanda (20%, 50%, 2:4)、SparseGPT (20%, 50%, 2:4)、Magnitude (20%)；不含 Magnitude 50%，因 Table 8 显示其在未受攻击模型上也大幅降性能（Qwen 多个基准为 0%）。
   • 评审方式：越狱用 GPT-4.1-mini 按 Qi et al. (2024) 的提示打 5 分制，≥4 计成功；过度拒答由 GPT-4.1-mini 判定带理由的拒答；内容注入统计输出含目标词的比例。生成用贪心解码、最大 512 token。
   • 效用评测：MMLU、ARC-Challenge、HellaSwag、HumanEval、GSM8K 五基准（LM Evaluation Harness）。
   • 训练数据：越狱用 LLM-LAT（4.9k 条）；过度拒答与内容注入用作者更新的 AutoPoison 数据集（各 5.2k 条）；KL 正则用 GPT-4-LLM。论文未报告重复次数。

   主结果

   Table 2（Attacked (Base) 格式，ASR%）：

   表格较宽，可左右滑动

   场景	模型	未剪枝	Mag. 20%	SGPT 50%	Wanda 50%
   越狱	Qwen2.5-7B	9.3 (7.7)	95.7 (8.0)	86.7 (17.3)	93.0 (22.0)
   越狱	Llama3.1-8B	2.0 (7.3)	92.3 (9.0)	36.0 (14.3)	92.3 (16.3)
   越狱	OLMo-2-7B	3.0 (3.0)	94.3 (2.7)	89.3 (5.0)	80.7 (3.7)
   过度拒答	Qwen2.5-7B	1.1 (0.4)	93.9 (0.3)	67.8 (1.1)	98.4 (1.7)
   过度拒答	Llama3.1-8B	0.5 (0.5)	95.5 (0.3)	78.3 (2.7)	97.3 (2.9)
   过度拒答	OLMo-2-7B	2.1 (2.5)	92.7 (2.1)	98.7 (4.6)	97.2 (4.1)
   内容注入	Qwen2.5-7B	0.1 (0.0)	92.2 (0.0)	62.1 (0.0)	99.5 (0.0)
   内容注入	Llama3.1-8B	0.1 (0.0)	94.3 (0.0)	34.0 (0.0)	98.8 (0.0)
   内容注入	OLMo-2-7B	0.9 (0.0)	61.5 (0.0)	53.2 (0.0)	96.6 (0.1)

   • 作者称所有场景下剪枝前 ASR 与基座相当，剪枝后升高；越狱场景未剪枝受攻击模型甚至比基座更安全（Llama ∆=−5.3%），可能诱使用户采用。
   • 例外：Llama3.1-8B 越狱在 SparseGPT 各配置下 ASR 仅 22.0%–36.0%；内容注入在 SparseGPT 20%/2:4 下多个模型 ASR 低于 35%（Table 2）。
   • 效用保持：Table 1 显示受攻击模型五基准平均分变化在 −2.9 到 +1.2 之间，越狱场景良性拒答率与基座接近（如 Qwen 0.4 vs 1.2）。

   防御与缓解分析（§6.3、§6.4）

   • 安全感知校准：用 512 条越狱查询+拒答回答作校准数据（Table 3）。SparseGPT 50% 下越狱 ASR 从 36.0/89.3/86.7 降到 0.1/1.0/3.7（Llama/OLMo/Qwen），但 Wanda 50% 下几乎无效（92.3→93.3、80.7→86.7、93.0→90.3）；且 SparseGPT 效用下降更多（∆=−3.6% vs Wanda −0.9%）。作者称单靠安全感知校准不足以可靠防御。
   • 修补模型：把修复参数重新插入剪枝后模型（Table 4）。假设已知攻击前分数的最优修补可将 ASR 降到 0.0–14.0；但只能访问攻击后模型的实际修补效果有限（如 Qwen Wanda 50% 仅降到 75.3）。作者称实际中难以识别修复参数。
   • 剪枝后微调：Figure 4 显示仅用通用数据稀疏微调不能消除攻击；按 1:1 混入安全数据后 ASR 在 5 个梯度步内降到接近零，且效用提升与纯通用数据相当。作者称前提是用户能识别模型被如何攻破并准备对应安全数据。
   • 剪枝后量化：Table 5 显示再施加 FP8 或 GPTQ(4bit) 后 ASR 变化很小，量化模型 ASR 为全精度模型的 85%–128%，攻击仍有效。

   其他消融与分析

   • 修复比例 αrep（Figure 2，各场景按模型平均）：越狱 1% 即可恢复低 ASR，10% 会压低剪枝后 ASR；过度拒答至少需 5%；内容注入前后 ASR 都随 αrep 增大而下降。
   • 注入比例 αinj（Figure 10）：攻击对 αinj 选择总体不敏感；内容注入的 ASR 随注入比例增大而升高。
   • 预估准确性（Figure 3、Table 12）：多数设置下 >99% 的修复参数被实际剪掉（Figure 3 标注 Wanda 50% 为 99.95%、SparseGPT 50% 为 99.83%）；最低为 SparseGPT 2:4 的约 91.8%–93.6%。
   • 校准数据分布偏移（Table 7，Qwen2.5-7B）：用户改用 GSM8K 或 Open Platypus 校准时，Wanda 下 ASR 始终 >70%；SparseGPT 下 Platypus 使 ASR 下降（如过度拒答 50% 从 67.8% 降到 28.3%），但作者称攻击仍有效。
   • 更大模型（Table 6）：Qwen2.5-14B/32B 上不调超参仍有效，如 32B 越狱 Magnitude 20% ASR 91.0%、过度拒答 Wanda 50% ASR 99.5%。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者称无完美防御、安全校准不足，并提出系统研究行为注入难易与更好缓解策略。

   作者指出的局限与后续方向

   • 无完全有效的防御（§6.3）：作者称未能找到完美防御，安全感知校准本身不足以可靠防止剪枝触发的攻击，并把在校准流程中设计更好的缓解策略列为开放问题。
   • 行为注入难易差异（§6.1）：作者认为不同恶意行为在注入和保留上可能天然有难易之分（如内容注入的关键词只被浅层学习），将其系统研究列为未来方向。
   • 更大模型的超参优化（§B.1）：作者指出大模型上的超参数可能还可进一步优化以获得更好的攻击效果。
   • 更宏观的呼吁（§7）：作者强调需要研究安全的模型压缩技术、建立评估剪枝模型安全性的社区标准，并系统研究检查、检测和缓解这类转换触发型攻击的方法。

   实验覆盖范围

   • 被测模型为 Qwen2.5-7B、Llama3.1-8B、OLMo-2-7B、Gemma-2-9B、Mistral-7B 五个指令微调模型，附录另测 Qwen2.5-14B/32B-Instruct（§5.1、§B.1）。
   • 剪枝算法覆盖 vLLM 内置的 Magnitude、SparseGPT、Wanda，配置为 20%、50%、2:4（Magnitude 不含 50%）（§5.1）。
   • 攻击场景为越狱、过度拒答、内容注入三种；防御讨论（安全感知校准、修补、剪枝后微调）仅以越狱场景为例（§6.3、§6.4）。
   • 评审使用 GPT-4.1-mini；越狱评测 300 条 HEx-PHI 查询，过度拒答与内容注入各用 1.5k 条 dolly 样本（§5.1、§A.2）。
   • 论文未报告实验重复次数、评审模型与人工判断的一致性。

   收起这一问

6. 06总结一下论文的主要内容

   剪枝可作为攻击触发器：模型剪枝前正常，经 vLLM 剪枝后 ASR 最高达 99.5%。

   一篇关于 LLM 供应链安全的攻击论文，作者称提出首个剪枝激活攻击，把部署前的模型压缩变成恶意行为的触发器。

   • 问题：vLLM 等引擎允许用户部署前自行剪枝下载的模型。作者探讨攻击者能否发布剪枝前表现正常、被用户剪枝后才激活恶意行为的模型。
   • 方法：攻击者用 Wanda 分数预估各参数被剪概率，先只微调最不可能被剪的 50% 参数注入恶意行为，再只微调最可能被剪的 1%–5% 参数修复掩盖；因三种剪枝算法分数高度相关，一次攻击可同时针对 Magnitude、SparseGPT、Wanda。
   • 主结果（Table 2，五个模型）：剪枝前受攻击模型 ASR 与基座相当（如越狱 0.5%–9.3%），剪枝后三种场景 ASR 最高分别达 95.7%（Qwen 越狱，Magnitude 20%）、98.7%（OLMo 过度拒答，SparseGPT 50%）、99.5%（Qwen 内容注入，Wanda 50%）；五基准效用变化在 ±3 个百分点内。
   • 机理验证：多数设置下超 99% 的修复参数被实际剪掉（Table 12）；攻击对校准数据分布偏移和更大模型（14B/32B）仍有效。
   • 防御分析：安全感知校准可将 SparseGPT 下越狱 ASR 降到 0.1%–3.7%，但对 Wanda 几乎无效且有效用代价；剪枝后混入安全数据微调可在 5 步内将 ASR 降到接近零，但前提是用户知道模型被如何攻破；剪枝后再量化不影响攻击。
   • 作者结论：剪枝暴露了部署时的安全缺口，作者呼吁研究安全的模型压缩技术、建立剪枝模型安全评估的社区标准，并关注更广泛的训练后转换触发型攻击。

   收起这一问

相关论文