面向开源权重 LLM 的防篡改护栏

1. 01这篇论文试图解决什么问题？

   开源权重上的拒答与遗忘易被微调去掉，TAR要让防护经数百步微调仍难移除。

   开源权重 LLM 的拒答与遗忘可被改权重的微调去掉，需要经篡改仍难移除、同时保留一般能力的防护。

   • 场景：作者称过去一年最有能力的开源权重 LLM 已可比肩闭源前沿模型；可下载使用降低终端成本，也便于安全研究。能力上升后，作者担心模型被改作恶意用途。
   • 现有不足：现有开源模型常借用面向 API 的拒答与偏好训练。作者称这些防护能对抗输入越狱，但改权重后往往几步微调即失效。作者认为该问题很难，此前没有方法对篡改攻击保住防护，也使开发者在合理注意义务下面临责任风险。
   • 威胁模型：
     • 防御者目标：发布带防护 G 的权重 θG，使 safety_metric 与 capabilities_metric 都高，且对手行动后 safety_metric 仍高。
     • 对手：计算受限，对 θG 有不受限访问，可直接改权重（作者称 tampering attacks），要在合理算力内最小化 safety metric；文中举例为微调 500 步。
     • 范围：只考虑微调对手，不考虑输入空间 jailbreaking。假设对手不会花费接近预训练的算力，否则可自行训练无防护模型。
     • 受害系统：带防护的开源权重 LLM。本文做武器化知识限制与有害请求拒答。
   • 本文提出：方法 TAR（Tampering Attack Resistance）。先装入不必抗篡改的初始防护，再对训练时微调对手做对抗训练。作者称这是第一类能抵抗多种篡改攻击的 LLM 防护。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖越狱、遗忘与少量抗微调方法；作者称自回归LLM上此前没有抗篡改方法。

   论文按对抗攻击、防护与遗忘、抗篡改来组织相关工作，并称自回归 LLM 上此前没有抗篡改方法。

   输入攻击与对齐

   • RLHF 与 DPO：Christiano 等（2017）、Ouyang 等（2022）用人类偏好做强化学习；Rafailov 等（2023）的 DPO 直接优化偏好。论文把它们列为现有防护的训练方式。
   • 越狱与微调移除：Wei 等（2023）、Zou 等（2023）等展示越狱；Qi 等（2023）、Yang 等（2023）、Zhan 等（2023）用少量 uncensored 数据微调去掉防护。论文称现有对齐在这些攻击下不够。

   防护与机器遗忘

   • 系统级与模型级：系统级方法改写或过滤输入输出；模型级包括对抗训练。遗忘路线包括影响函数、在 forget set 上最大化损失、改表征，以及 circuit breaking。
   • 论文的批评：论文称越狱防御对自适应对手并不充分鲁棒；现有遗忘对能访问权重的对手不鲁棒（Lynch 等，2024）。

   抗篡改与并发工作

   • 非自回归与视觉：图像分类上已有抗微调的遗忘研究。Henderson 等（2023）用元学习阻止 BERT 学习有害任务。并发的 Deng 等（2024）把类似思路扩到小规模视觉分类器与扩散模型。
   • LLM 上的讨论：Liu 等（2024）讨论鲁棒遗忘对开源安全的潜力；Lynch 等（2024）提出评测指标。并发拒答工作包括 Huang 等（2024）的扰动损失，以及 Rosati 等（2024）的免疫化与 RepNoise。论文称这些工作评测的微调对手少，或抵抗有限；并称后两篇在本文的篡改攻击下缺少抵抗。

   基线与基准

   • 基线方法：武器化知识侧为 RMU、LLMU、Max Entropy、Min Posterior，以及改写到自回归 LLM 的 MLAC-AR、SOPHON-AR。拒答侧为 Refusal Trained、Representation Rerouting（RR）、R2D2、RepNoise。
   • 基准：WMDP、MMLU、HarmBench、MT-Bench。

   作者称据其所知，尚无针对自回归 LLM、能抵抗篡改攻击的方法；本文用对抗训练与元学习，使防护在改权重之后仍难去掉。

   收起这一问

3. 03论文如何解决这个问题？

   TAR先装初始防护，再对微调对手做类MAML对抗训练，外环损失与对手损失不同。

   TAR 分两阶段：先装初始防护，再对一组微调对手做对抗训练，使攻击后的代理安全指标仍高，同时保住能力。

   问题设定与指标

   • 抗篡改的定义：attack 把 θG 映到 θG′。作者称若在一组强测试攻击 A_test 上攻击后 safety_metric 仍高，则防护抗篡改。把权重改成噪声也能抗篡改，但模型不再可用，因此必须同时看 capabilities_metric。
   • 武器化知识限制：阻止写出武器化知识，保留良性领域。safety_metric 为 forget set 上的错误率，capabilities_metric 为 retain set 准确率。forget set 为 WMDP 的生物安全、化学安全或网络安全；retain set 为 MMLU 中该主题的补集。WMDP 有 3,668 道选择题，测的是危险领域的专家级代理知识，不是危险知识本身。
   • 有害请求拒答：safety_metric 为若干越狱平均 ASR 的补数；能力用 MT-Bench。攻击后用 HarmBench 的固定测试集测 ASR。

   两阶段训练

   • 阶段一：把已有防护装进基座 θ。知识限制可用 circuit breaking 或约束梯度上升；拒答可用 RLHF 或 DPO。作者称初始防护不必抗篡改，但这一步对攻击前安全指标很重要。
   • 阶段二：从加防护后的参数出发，对训练攻击集 A_train 做对抗训练，使攻击之后的代理安全指标升高。attack 未必可微，故写成在原参数上加扰动，反传用 straight-through estimator，并借助一阶 MAML 的近似。
   • 与常规元学习的差别：常规元学习希望初始化在多个测试分布上接近最优；这里希望在多个对手的测试分布上远离最优。外环的 tamper-resistance loss 与对手损失不同。

   损失

   • 外环目标：防御者求解 min_θ λ_TR·E[L_TR(attack(θ); D_TR)] + λ_retain·L_retain(θ; D_retain)。最小化 L_TR 被当作最大化 safety_metric 的代理。
   • L_TR 的选择：武器化知识用负熵，而不是把对手交叉熵取负。作者称后者会发散，且只会在内环前几步拉高对手损失。Figure 3 在 750 步 TAR 上比较二者：负交叉熵时对手很快恢复；负熵时内环整条轨迹最终被挡住。拒答的 L_TR 用 DPO：攻击在被拒绝补全上做 SFT，外环仍偏好拒绝补全。
   • 保留项：把 retain 残差流拉向初始防护模型，即 L_retain = E_x[LLM(θ, x) + ||h_θ(x) − h_θG0(x)||₂²]。作者称这有助于维持 capabilities_metric。

   初始防护、采样与设置

   • Random Mapping：武器化实验的初始防护。把 forget 分布上各层残差流推向由输入 token 哈希得到的固定高斯向量，并在 D_retain 上做交叉熵。附录 C.2 给出目标。
   • 采样：沿一条长度为 K 的微调轨迹复用中间参数，得到更短、非独立的轨迹，再按每 4 个对手步子采样算 L_TR。各内环步共用同一批 held-out 的 x_TR。
   • 本文设置：武器化用 Llama-3-8B-Instruct，外环 N=750，ScheduleFree AdamW，学习率 2×10−5；生物与网络安全 λ_TR=4.0，化学安全为 3.0，λ_retain 均为 1.0。每域采样 6 个 64 步全参数 SFT 对手，学习率取 2×10−5 或 4×10−5。拒答外环 N=100，学习率 6×10−5，λ_TR=0.1；对手在 Anthropic-HH-RLHF 的 rejected 补全上做 64 步 SFT。forget 数据按 80–20 划分，held-out 部分用于 L_TR。

   收起这一问

4. 04论文做了哪些实验？

   Table 1中TAR的攻击后WMDP遗忘准确率低于同表基线，拒答ASR亦低于Table 2。

   在 Llama-3-8B-Instruct 上，TAR 的攻击后 WMDP 遗忘准确率低于 Table 1 基线；拒答设置下攻击后 ASR 也低于 Table 2，同时能力分数下降。

   实验设置

   • 模型：TAR 与 Table 1 基线用 Llama-3-8B-Instruct（表头写 Llama-3-8B）。拒答另报告 Zephyr-7B 上的 R2D2、Llama-2-7B 上的 RepNoise。Pile 合成标注用 openchat-3.5。
   • 数据与指标：WMDP 共 3,668 题，分三域；能力为 MMLU（57 个任务）中相应主题的补集。拒答用 HarmBench 固定集测 ASR，用 MT-Bench 测对话。论文未给出 HarmBench 题数，也未给出 MT-Bench 评审模型名称。
   • 基线：RMU、LLMU、Max Entropy、Min Posterior、无防护与随机（25.0%）。拒答为 Refusal Trained、RR、R2D2、RepNoise。MLAC-AR、SOPHON-AR 在附录 G.3。
   • 攻击：武器化默认 500 步 SFT。Biosecurity 26 个对手，化学与网络安全各 24 个（Section 5.3、Appendix F.1）；Table 1 注则写按 26 个攻击平均。每对手 3 个种子。拒答在 Toxic-DPO v0.2（541 条）上做 5 个攻击、各 10 个 epoch。论文未报告拒答的重复次数。
   • 训练对手：与测试对手分开，均为 64 步 SFT。附录 C.1 称初版 retain 数据含 forget 内容，清洗并按相同超参重训后，正文表格为更新结果。
   • 实现：8 张 80GB A100，FSDP 与 ZeRO Stage 3。拒答 TAR 之后另在 Magpie-Align 上做 100 步 SFT，以改善良性能力。

   主结果

   Table 1 的攻击后平均 Forget 准确率（%）。生物安全对应 26 个攻击；化学与网络安全的对手数与表注不一致，见上。

   表格较宽，可左右滑动

   方法	Bio 攻击后	Chem 攻击后	Cyber 攻击后	Bio 攻击前 Retain
   TAR	35.2	27.1	28.6	54.7
   RMU	64.9	46.0	42.2	65.8
   LLMU	61.3	44.3	41.3	65.5
   Max Entropy	65.8	45.7	41.7	65.0
   Min Posterior	66.0	47.5	41.9	65.6
   No Defense	70.5	47.8	46.4	67.3
   Random	25.0	25.0	25.0	25.0

   • 作者解读：表注称只有 TAR 在攻击后仍保持低 Forget，同时 Retain 高、攻击前 Forget 低。攻击前 TAR 的 Forget 为生物 28.1%、化学 28.4%、网络安全 23.6%。表中 TAR 的 Retain 低于其他非随机方法。
   • 取舍：作者称能力与抵抗之间有取舍，并称 Retain 平均降低 10.6%。化学、网络安全的 TAR Retain 为 56.5% 与 60.7%，无防护均为 68.2%。
   • Figure 2：作者称 TAR 在相近 MMLU 下 tamper-resistance 更高。纵轴为 Post-Attack Weaponization Knowledge Error，横轴为 Capabilities (MMLU)。纯文本读不到点的坐标。

   有害请求拒答

   Table 2：5 次微调后的平均 HarmBench ASR，以及攻击前 MT-Bench。骨干不同，不能并成一行。

   方法（骨干）	MT-Bench↑	攻击后 ASR↓
   Refusal Trained（Llama-3-8B-Instruct）	8.1	72.5
   RR（Llama-3-8B-Instruct）	8.0	84.8
   R2D2（Zephyr-7B）	6.0	78.3
   RepNoise（Llama-2-7B）	6.2	74.5
   TAR（Llama-3-8B-Instruct）	6.3	63.9

   • 与正文不一致：正文写 TAR 升至 61.7、其他方法升至 77 以上。Table 2 的 TAR 为 63.9%；Refusal Trained 与 RepNoise 为 72.5% 与 74.5%，并非都高于 77。
   • 攻击前 ASR：Table 11 为 TAR 31.4%、RR 1.4%、Refusal Trained 14.7%、R2D2 25.0%、RepNoise 18.8%。作者称攻击前 ASR 不是优先目标。
   • 能力：正文写 MT-Bench 降低 1.7；表中 Refusal Trained 为 8.1、TAR 为 6.3。作者称仍高于一些有能力的开源模型，论文未给对照分数。

   红队、长攻击与良性微调

   • Figure 4：逐对手攻击后准确率，随机水平标为 25%（RC），无防护标为 ND（生物 71、化学 48、网络安全 46）。作者称基线在多数攻击下防护被去掉，TAR 挡住更多对手；同时称对 PEFT 和部分分布外学习率不稳定。TAR 行文本里可见高于 50 的读数，但列与 Adv 编号对不上，不逐格绑定。
   • 1,000 步：作者称 Figure 6 中，对 TAR 的生物安全 SFT（学习率 2×10−5）在 1,000 步内交叉熵不低于 7，约 200 步后进入平台；同一攻击在 LLMU 上不到 20 步进入恢复区。Figure 5 用五个 dataloader 种子：500 步内平台较一致，其后变异增大。
   • 良性经济学微调（Table 3）：TAR-Bio 良性域从 59.7% 到 64.7%，WMDP Forget 从 28.1% 到 30.1%；TAR-Chem 从 58.6% 到 62.8%，Forget 从 28.4% 到 27.5%。作者称经济学题可提高 5.0 个百分点；表中生物域正好提高 5.0 个百分点。

   其他消融与分析

   • 去掉对抗训练（Table 5，生物安全）：攻击后 Forget 61.6%，攻击前 27.3%；完整 TAR 为 35.2% 与 28.1%。
   • 去掉初始防护（Table 5）：攻击前 Forget 47.3%，攻击后 35.5%；作者称初始防护使攻击前 Forget 准确率降低 19.2 个百分点。
   • λ_TR（Table 6，λ_retain=1.0）：1.0 时攻击后 Forget 39.9%、Retain 62.5%；4.0 时为 35.2% 与 54.7%。表注称抵抗提升近 10.0%，与两格之差不一致。
   • 加入 R→F 训练对手（Table 4）：全部对手从 44.9% 到 35.2%，R→F 从 58.7% 到 29.7%。
   • 内环长度 K（Figure 7，K 为 8、16、32、64）：作者称 K 越大，测试损失平台越高、持续越久。
   • 附录对照（Table 12）：SOPHON-AR 的 Retain 为 27.2%、23.3%、24.4%，作者称调参后仍得不到可用的攻击前模型；MLAC-AR 攻击后 Forget 为 50.6%、33.6%、35.1%。

   收起这一问

5. 05有什么可以进一步探索的点？

   附录A写明只覆盖监督微调、更大模型有计算开销，且攻击后retain也低。

   附录 A 把攻击类型、模型规模和攻击后 retain 写成局限；实验本身停在所列模型、SFT 红队和两个任务上。

   作者指出的局限与后续方向

   • 攻击类型：只聚焦监督微调；更广的开源权重篡改技术需要后续多样红队（Appendix A）。
   • 规模：扩展到更大模型有计算挑战，需要优化以降低开销（Appendix A）。
   • 攻击后 retain：TAR 把攻击后 forget 压低时，攻击后 retain 也低。作者在初步实验中看到许多基线的攻击后 retain 仍高，并称攻击后 retain 由攻击者负责、对防御者可接受（Appendix A）。
   • 良性使用：若良性微调数据混入 forget set，微调后性能会差，可能使方法更难实际使用。作者把保持高攻击后 retain 列为后续方向（Appendix A）。
   • 风险边界：作者称 tamper-resistance 不能完全挡住恶意使用：提高初始成本，但最终仍可被绕过；模型一旦发布不能撤回。它应是提升攻防平衡的补充（Appendix A）。

   实验覆盖范围

   • 模型：TAR 与 Table 1 基线在 Llama-3-8B-Instruct 上训练和评测；Table 2 另报告 Zephyr-7B 上的 R2D2 与 Llama-2-7B 上的 RepNoise（Section 5）。
   • 武器化红队：WMDP 三域；Biosecurity 26 个 SFT 对手，化学与网络安全各 24 个；默认 500 步；每对手 3 个种子（Section 5.3、Appendix F.1）。训练内环为 K=64 步。Table 1 给出攻击前 Retain 与攻击后 Forget；论文未报告篡改攻击后的 MMLU Retain 数值。
   • 拒答：HarmBench 与 MT-Bench；Toxic-DPO v0.2 上 5 个攻击、各 10 个 epoch（Table 2、Appendix F.2）。论文未报告 MT-Bench 评审模型，也未报告该设置的重复次数。
   • 威胁模型写法：只考虑 SFT 改权重，不把输入空间越狱列入对手，TAR 也不显式优化输入空间鲁棒性（Section 3.1、Section 5.3）。
   • 对照：比较了 RMU、LLMU、Max Entropy、Min Posterior、RR、R2D2、RepNoise，以及改写后的 MLAC-AR 与 SOPHON-AR（Section 5、Appendix G）。

   收起这一问

6. 06总结一下论文的主要内容

   TAR先装防护再对抗微调，WMDP攻击后遗忘准确率低于基线，能力分数有下降。

   TAR 是面向开源权重 LLM 的抗篡改训练方法，用于武器化知识限制和有害请求拒答。

   • 问题：拒答和遗忘常被少量微调去掉。防御者发布 θG 后，计算受限的对手可任意改权重，目标是在例如 500 步微调内压低安全指标。本文不考虑输入越狱，也不假设对手会付出接近预训练的算力。
   • 做法：先装入不必抗篡改的初始防护，再对 64 步 SFT 对手做外环对抗训练。武器化知识的外环损失是负熵，拒答用 DPO；保留项把残差流拉回初始防护模型。武器化实验的初始防护是 Random Mapping。
   • 武器化结果：Llama-3-8B-Instruct 上，Table 1 的攻击后平均 Forget 为 TAR 生物 35.2%、化学 27.1%、网络安全 28.6%；同表 RMU 为 64.9%、46.0%、42.2%，无防护为 70.5%、47.8%、46.4%。随机水平为 25.0%。TAR 的攻击前 Retain 为 54.7%、56.5%、60.7%，作者称平均比无防护低 10.6%。
   • 拒答结果：Table 2 中 TAR 的攻击前 MT-Bench 为 6.3，5 次微调后平均 HarmBench ASR 为 63.9%；Refusal Trained 为 8.1 与 72.5%，RR 为 8.0 与 84.8%。Table 11 中 TAR 攻击前 ASR 为 31.4%，高于 RR 的 1.4%。
   • 作者结论：作者称在其所做的红队评测下，TAR 是第一种仍能保住防护的方法，并称开源权重的抗篡改可以推进。作者同时写明，这只提高对手的初始成本，不能单独消除恶意使用，模型发布后也不能撤回。

   收起这一问

相关论文