研究显示少样本微调可绕过安全层局部冻结与修复防御

少样本有害微调能抹掉对齐模型的拒答，但定位到的层并不等于能守住的位置。

• 场景：作者称，十到一百条有害样本就能去掉对齐 LLM 的拒答，开放权重、LoRA 或微调 API 皆然。模型仓库和微调服务使这类攻击便宜且易得。
• 现有缺口：拒答被联系到残差流中的单一方向、一段中间层，或前几个输出 token。作者称，因果追踪指向的层并不是知识编辑效果最好的层；SPPFT 评的是后门或普通指令数据，不是知道哪些层被冻结的攻击者。找到计算位置是否等于能防御，作者认为尚未建立。
• 威胁模型：
  • 目标：去掉公开对齐检查点对有害请求的显式拒答。
  • 攻击：LoRA 监督微调，r=16，损失只算回答 token；有害对来自 PKU-SafeRLHF。剂量为有害样本数，取 5、10、25、50、100，每格三个种子。
  • 防御者所知：持有干净与被攻陷检查点，不见攻击数据，因而知道更新 ΔW、不知训练集。层冻结另假定服务方能控制微调，并拒绝攻击者改某些参数。
  • 受害系统：四个谱系上的六个对齐检查点。纯有害数字衡量防御去掉多少有害更新；混合适配器针对意外污染，不针对攻击者自选的有害比例。
• 本文：检验攻击后有害与良性提示是否仍线性可分，用 lockstep 激活修补定位可恢复拒答的深度，再让知情攻击者重跑攻击，看冻结该前缀或截断更新的大奇异方向能否保住拒答。

微调如何破坏对齐

• 少量有害样本：Qi et al. (2024)、Lermen et al. (2023)、Zhan et al. (2024) 分别在闭源与开源模型、LoRA、微调 API 上观察到少量有害样本去掉拒答。作者称这些结果读的是输出；拒答率本身看不出有害与良性提示是否仍可分，也看不出干净状态修补能否恢复拒答。

拒答定位，以及冻住它

• 方向与脆弱性：Arditi et al. (2024) 称拒答由残差流中单一方向介导。Lee et al. (2026a) 在任何微调之前，用激活给对齐模型的拒答脆弱性打分。
• 定位不等于可编辑：Hase et al. (2023) 发现，因果追踪指向的层并不是知识编辑效果最好的层。作者用这一点说明：定位可以正确描述行为在何处计算，仍可能指不出可干预的位置。
• SPPFT：Li et al. (2025) 把承载区分恶意查询能力的一段中间层梯度固定，并称在全参微调毁掉拒答的地方大体保住拒答。作者称其评测用的是后门或普通指令数据；本文在自己的带宽和对方发表的带宽上，让攻击者训练其余层。

让对齐更难被去掉

• 对齐阶段加固：Representation Noising（Rosati et al., 2024）在各层去掉有害表征；TAR（Tamirisa et al., 2025）构造能熬过数百步微调的防护；Booster（Huang et al., 2025）针对有害扰动正则化对齐目标；circuit breakers（Zou et al., 2024）在有害表征形成时打断它们，而不是过滤输出。
• token 侧诊断：Qi et al. (2025) 从 token 而不是层给出互补判断。作者称，安全看起来集中在深度或靠前 token 前缀时，定位之外的干预仍可能起作用。

事后防御与激活修补

• 权重修复：Safe LoRA（Hsu et al., 2024）把微调更新投影到由对齐与未对齐检查点得到的对齐子空间；Antidote（Huang et al., 2024a）与 Vaccine 一族（Huang et al., 2024b）在有害微调之后或针对它做修复或加固。作者称自己实现的是更新奇异谱的 top-k 截断，不是某一已发表算法，并在旁边跑 Safe LoRA 式投影和范数匹配对照。

• 修补与自适应评测：lockstep 测量是跨检查点激活修补，沿用因果追踪及其方法学提醒（Meng et al., 2022; Zhang and Nanda, 2024）。Zhang and Nanda (2024) 称修补结论强烈依赖指标和腐蚀方式。作者称自己按对抗样本防御的自适应评测标准（Tramèr et al., 2020），让知道这些防御的攻击者来评层冻结和 top-2 截断。

• 基线与基准：行为对照包括无限制攻击、把同样层数冻在网络另一端、随机去掉两个奇异方向、范数匹配收缩，以及词袋 TF-IDF 逻辑回归。训练与评测用 PKU-SafeRLHF、Alpaca、AdvBench、HarmBench、StrongREJECT、XSTest-safe。

作者把本文放在“定位之后再问能不能守住”：先测可分性与干净状态修补，再在攻击重复时检验冻住恢复区域是否保住拒答，并对权重修复做知情攻击者评测。

整体是两段检验：先在攻击后定位拒答还能不能恢复，再把该位置交给知道防御的攻击者。防御者不见攻击数据。

攻击与两种防御者

• 攻击：公开对齐检查点上的 LoRA 监督微调，r=16、α=32、dropout 0、无 bias。默认只适配注意力投影 q,k,v,o；全七投影再加 gate,up,down。AdamW，学习率 2e-4，batch 4，默认三 epoch。损失是只算回答 token 的交叉熵。有害数据为 PKU-SafeRLHF，良性数据为 Alpaca。
• 剂量：有害样本数取 {5, 10, 25, 50, 100}，每格三个种子。微调与行为评测的数据源不相交。六个检查点跨四个预训练谱系。Mistral-7B-Instruct-v0.3 全程排除，因其干净时只拒答 AdvBench 的 0.16–0.18（附录 A）。
• 两种防御位置：持有权重的防御者知道 ΔW、不知训练集。第 5 节的冻结改为服务方控制微调运行，可以不让攻击者改某些参数。

冻结线性探针

• 训练：在干净模型最后 token 的残差流上做逻辑回归，L2 用 scikit-learn 默认强度。深度取层栈的 0.3、0.45、0.6、0.75；32 层模型上即层 9、14、19、24。对比是 PKU-SafeRLHF 中 200 条有害对 200 条良性。系数拟合后冻结，原样用到被攻陷模型对同一提示的编码。
• 重标定：系数不动，只用良性提示挪阈值。200 条良性对半，阈值取标定半的第 95 百分位，目标是 5% 标定假阳率。附录 B 另有训练、标定、测试提示不相交的 Llama 对照。
• 对照：同一对比上的词袋 TF-IDF 逻辑回归，以及从未对齐的基座检查点内部重新拟合的探针。作者把基座对照用来界定：攻击后还在的可分性有多少能算到对齐头上。

Lockstep 修补与转移深度

• 做法：干净与被攻陷检查点吃相同 token。在预填充和每一步解码，用干净模型某一层的完整隐状态覆盖被攻陷模型该层输出。两边都接下一步被修补目标的贪心 token；各自更新 KV cache，不拷贝 cache。
• ℓ*：恢复报在地板（被攻陷、不修补）和天花板（最后一层交还干净状态）之间。ℓ* 是修补后拒答至少达到天花板一半的最浅被测层；后文的剂量 100 深度见 Table 8。作者称恢复随深度是台阶，不是渐升。半天花板是一个选择；附录 C 在 Llama 阶梯上改用四分之一和四分之三，浅档不动、深档更深。
• 对照与门控：无操作自修补，以及从另一条良性提示注入干净状态的特异性对照。门控失败的运行排除并计数。coherent refusal 要求贪心续写匹配固定显式拒答模式，且原模型困惑度有限并低于 50。附录 B 给出该模式、门控变体和默认解码设置。Llama-Guard-3-8B 另判 unsafe，每对提示与回答用 12 个贪心 token。作者明确不把拒答写成 1−unsafe。

冻住恢复前缀

• 主设定：重跑攻击，层 [0, ℓ*] 的全部参数冻结，只适配其上的层。Llama-3.1-8B 上是 32 层中的 18 层，即 [0, 17]。带宽来自检查点级剂量扫描，不保证盖住每个种子的无限制转移。
• 位置对照：每个运行旁，把同样层数冻在网络另一端，用来区分“少了参数”和“冻的位置”。
• 参数化对照：按 SPPFT 的做法，全参微调、梯度掩码、无适配器；嵌入与反嵌入冻结，Adafactor，学习率 2e-5。并在 Li et al. (2025) 报告带宽的四个检查点上，掩码他们发表的内部层段，对照是同样宽度、位置更高的冻结。
• 边界扫描：在 Llama 上把冻结边界沿层梯上移，每档三个种子重做 lockstep。另在其余五个检查点各评一个冻结边界，边界附近按一层采样。还测只留顶端或底端一、二、四层可写。

能量排序截断与知情变体

• 截断：去掉更新的前 k 个奇异方向，主结果是 top-2。随机去掉两个方向的对照没有按去掉的能量匹配。相对修复定义为修复后拒答占干净拒答的比例。
• 普通训练变化：在 Llama-3.1-8B 上把适配器扩到全部七个投影，或把 epoch 从三改到八。作者称二者都不是针对该防御的攻击。
• 摊开更新：加浓度惩罚，把更新能量摊到秩预算上。投影攻击则在训练中周期性去掉每个模块当前更新的两个最大奇异分量，写回 LoRA 因子并重置优化器矩；附录 I 写明它用全部七个投影、五 epoch、100 条有害样本，且与下面的对齐子空间投影不是同一件事。
• 检测与投影：检测器把四个注意力投影、各层的参与比按秩归一后平均，在 75 个良性 Llama LoRA 上标定。Safe LoRA 式投影用对齐权重减基座权重得到子空间，只在更新与投影后更新的余弦低于阈值 τ 时替换更新；τ=1 的对照把每个模块更新缩到投影后的范数，方向不变。

实验设置

• 模型：Llama-3.1-8B-Instruct、Llama-3.1-Tulu-3-8B-DPO、OLMo-2-1124-7B-Instruct、OLMo-2-1124-13B-Instruct、Qwen2.5-14B-Instruct、Yi-1.5-9B-Chat。另在已发表 SPPFT 带宽上测 Llama-3-8B-Instruct、Llama-2-7b-chat、gemma-2b-it、Phi-3-mini-4k。Mistral-7B-Instruct-v0.3 因干净 AdvBench 拒答仅 0.16–0.18 被排除。
• 数据：有害对来自 PKU-SafeRLHF，良性来自 Alpaca；微调与行为评测数据源不相交。剂量 {5, 10, 25, 50, 100}，每格三种子。默认 100 条 AdvBench；lockstep 用 40 条；Llama 训练长度与自适应攻击比较用同一组 50 条。另评 HarmBench、StrongREJECT、XSTest-safe。
• 攻击配置：默认 LoRA 只适配 q,k,v,o，三 epoch；全七投影与更长训练另测。生成均为贪心。默认解码见附录 B。
• 指标：coherent refusal 要求匹配显式拒答模式且原模型困惑度低于 50。Llama-Guard-3-8B 判 unsafe。二者在 91,090 条有害集生成上不一致 9,653 条，其中 92% 是不匹配拒答模式但被判为安全；故不把拒答写成 1−unsafe。XSTest-safe 测过度拒答。
• 对照：无限制攻击、等层数冻在另一端、随机去两奇异方向、Safe LoRA 式投影及其范数匹配收缩。
• 纳入：转移深度估计用 99 次 lockstep 中的 72 次；排除 9 次 Mistral 与 18 次攻击后拒答超过 0.20 的运行。重定位扫描含 33 次运行（附录 B）。

主结果

剂量 100、AdvBench、三种子、LoRA，在各检查点自己测得的深度冻结后再攻。数字是 coherent refusal，据 Table 1。

表格较宽，可左右滑动

模型	冻结层	干净	无限制攻击	冻结后再攻	等量异位冻结
Llama-3.1-8B	[0, 17]	.92–.96	.00	.00–.01	.00
Tulu-3-8B-DPO	[0, 15]	.99–1.00	.01–.06	.00–.03	.01–.04
OLMo-2-7B	[0, 16]	.99–1.00	.00–.02	.00–.02	.06–.07
OLMo-2-13B	[0, 20]	.99–1.00	.00–.02	.00–.01	.00–.02
Qwen2.5-14B	[0, 31]	.97–.99	.00–.01	.00	.02–.07
Yi-1.5-9B	[0, 39]	.91–.93	.00	.00–.01	.00–.01

• 作者解读：作者称受限攻击后的拒答与无限制攻击无法区分，六个检查点上都没有恢复拒答。带宽来自检查点级剂量扫描，不保证盖住每个种子的无限制转移；附录 B 写，被攻击的 Llama 适配器转移在层 15，OLMo-2-13B 在层 19，冻结区盖住这些运行里的损伤，而不是比它更浅。
• 第二评分器：作者称按 Llama-Guard，六个检查点上受限攻击都不如无限制攻击有害，等量异位冻结几乎没有这一下降。Table 1 中冻结臂 unsafe 在 OLMo-2-13B 为 0.23–0.63，在 Llama-3.1-8B 为 0.89–0.92。六条冻结臂共 1,800 条 AdvBench 生成中，不匹配拒答模式但被判安全的比例从 7% 升到 30%（535 条）；中位困惑度 3.3，中位长度 55 词，三分之二含法律或伦理警告。作者称这不是不连贯。
• 表未列入的块：Table 1 下块四个已发表带宽里，gemma-2b-it 冻结后拒答为 0.12–0.19，高于其攻击后的 0.01–0.09，但仍低于干净的 0.93–0.97；作者称四个检查点上发表带宽都与等宽异位冻结分不开。Llama-3.1-8B 全参梯度掩码、冻 [0, 17] 后拒答仍为 0.00–0.01，Llama-Guard unsafe 为 0.67–0.85，对照无限制攻击的 0.96–0.98。

低剂量与混合适配器

• 测了什么：Figure 4 与 Table 7 在攻击落地阈值附近比较冻结、无限制攻击和等量异位冻结。Table 14 在 Llama-3.1-8B 上把 100 条预算中的有害比例 f 设为 0.05、0.15、0.35。
• 结果：Table 7 中，Llama 在 n=5 时冻结后拒答 0.91–0.96（攻击 0.00–0.05，异位 0.16–0.24）；OLMo-2-7B 在 n=25 为 0.95–0.98。Tulu 在 n=25 只有 0.21–0.52，Qwen 在 n=25 为 0.33–0.60。Yi 在 n=10 冻结为 0.85–0.93，异位也有 0.80–0.87。OLMo-2-13B 在 n=5 与 10 没有成功的无限制攻击。作者称 Llama 上冻结在十个样本时仍成立，到二十五个已崩溃；该句没有给出十与二十五的拒答区间。混合适配器 f=0.05 时冻结后拒答 0.74–0.92，任务负对数似然 1.524–1.562，干净为 1.942；f=0.15 降到 0.08–0.14，f=0.35 为 0.00–0.04（Table 14）。
• 作者解读：作者称低于某一剂量时冻结是真防御，剂量因检查点而异；它保护的是数据里偶然有百分之几有害样本的客户，不是自己选择有害比例的人。作者称剂量 100 的失败不是测量失败，因为困惑度门控在任何冻结格都没有剔除运行。

冻结后恢复深度上移

• 测了什么：在受限攻击自己的检查点上重做 lockstep。Figure 5a 与 Table 9 扫描 Llama 的冻结边界；Table 10 在其余检查点的边界上方按一层重修补。Table 2 与 Table 12 只留一端的四层或一到两层可写。
• 结果：Llama 无限制臂的转移在层 15。冻 [0, 5] 时 ℓ* 仍在 15；冻 [0, 17] 后三个种子的转移在层 28、27、27；冻 [0, 23] 在 29 或 30，冻 [0, 27] 在 30 或以上（Table 9）。Figure 1 写匹配 Llama 攻击中，冻 0–17 把半天花板转移从 15 移到 27–28。Table 10：Tulu 与 OLMo-2-7B 的转移在边界上方两层；OLMo-2-13B 在 22 或 23（边界 20）；Qwen 在 35、36、40（边界 31）；Yi 在 43（边界 39）。五个进一步检查点上，冻结都不恢复拒答，拒答停在 0.00–0.04（第 5.2 节）。五档上更新总范数降到无限制攻击的 0.55，仍允许的每个模块平均范数升到 1.57。只留一层可写时，Llama、Tulu、Qwen2.5-14B、Yi-1.5-9B 的拒答止于 0.00–0.13；两个 OLMo 保持 0.33–0.96。OLMo-2-13B 只留一层可写时，三个种子的 Llama-Guard unsafe 都是 0.00，作者称这是全文唯一这样的冻结格。底端四层可写时，六检查点拒答为 0.00–0.32，unsafe 为 0.50–0.95（Table 2）。
• 作者解读：作者称 ℓ* 定位的是被测攻击，没有确立固定的防御位点。无限制攻击也写入 Llama 的层 18–31，但在 ℓ* 注入干净激活仍能恢复拒答；冻住该带之后，攻击只靠上层更新就能成功。作者称损伤不跟着边界走，也不坐在可写区的顶端。特异性对照：良性来源在 Llama、剂量 100 的扫描上拒答至多 0.10，层 27 为 0.00；另一条有害提示在层 27 为 0.90–0.95（Table 21）。

奇异方向修复、检测器与投影

• 测了什么：Figure 6 与 Table 16 在注意力投影、三 epoch、攻击落地的格子上去掉更新的前几个奇异方向。Table 3 在 Llama-3.1-8B、剂量 100、同一组 50 条 AdvBench 上比较标准 5 epoch、摊开攻击和投影攻击。检测器与 Safe LoRA 式投影见第 6.2 节和附录 I。
• 结果：去掉前两个方向后，四检查点、三种子、五剂量上拒答为 0.76–1.00；随机去两个方向从不超过 0.26（Table 16）。作者称该随机对照没有匹配去掉的能量。扩到七投影使相对修复从 0.99 降到 0.74；训练八 epoch 而不是三，相对修复降到 0.35（第 6.1 节）。Table 17 写明七投影，八 epoch 的三种子平均拒答为 0.34。摊开攻击去掉 top-2 后拒答为 0.00，Llama-Guard unsafe 仍为 0.94–0.98；其更新范数与投影对照相近，而投影攻击两个落地种子在 top-2 之后拒答为 0.72–0.94（Table 3）。Table 3 标题未写明 Standard 与摊开攻击适配了哪些投影。检测器在 75 个良性 Llama LoRA 上标定；摊开攻击的分数为 0.973，良性最大为 0.554。约 300 倍的 λ 扫描里分数最低到 0.804，相对修复仍低于 0.06。按良性适配器 5% 假阳预算标定的阈值，只标出 Llama-3.1-8B 上 14 次 top-2 修复失败中的 3 次，漏掉十次普通微调和一次投影攻击。
• 作者解读：作者称 top-2 修复依赖攻击设定；普通训练变化会削弱它，摊开更新的攻击者能打掉它。Safe LoRA 式投影在 τ=1 时，对两种普通攻击的拒答高于范数匹配收缩（七投影五 epoch：0.88–0.96 对 0.48–0.78；注意力三 epoch：0.80–0.94 对 0.28–0.70）；对摊开攻击和投影攻击，匹配收缩复现了投影的拒答恢复（Table 18，投影攻击为两个合格适配器）。作者称谱统计既不能可靠标出修复失败，也不能认出最小修复秩。

其他消融与分析

• 探针：24 个 Llama 格冻结 AUROC 为 0.892–0.997；剂量 100 的 72 格为 0.750–0.995，67/72 高于词袋 0.834–0.846。从未对齐基座为 0.907–0.944，对齐同胞为 0.946–0.976（第 4.1 节、附录 B）。
• 阈值：72 格上固定阈值准确率 0.500–0.950，49 格至多 0.60；与分数位移的 Spearman ρ=−0.80。仅用良性提示重标定后，四检查点、每格 200 条有害加 100 条良性上的准确率为 0.45–0.97；作者称部分格子变差，包括 Qwen 层 28（Figure 2a、Table 5）。
• 剂量与更新质量：Table 8 中剂量 100 的平均转移深度（占网络深度）为 Llama 0.531、Tulu 0.469、OLMo-2-7B 0.500、OLMo-2-13B 0.525、Qwen 0.646、Yi 0.806。剂量 50 到 100，六个检查点的平均测量转移深度不变；四个被剖析检查点上，含 75% 更新平方范数的平均深度变深（Figure 7、附录 J）。
• 跨基准：12 次运行均值，top-2 修复后 AdvBench、HarmBench、StrongREJECT 拒答为 0.940、0.813、0.818，XSTest 过度拒答 0.008；被攻陷模型分别为 0.010、0.003、0.003、0.000（Table 4）。
• 秩与效用：九个混合格上 top-4 去掉后拒答 0.98–1.00；最小修复秩处未加权平均保留 28.3% 的 ROUGE-L 增益和 97.9% 的负 NLL 增益（附录 I）。有害比例变化时，最小修复 k 变，两个谱统计在种子噪声内持平（Table 20）。
• 移植与写回方向：秩一摘要在 Llama 与 Yi 上保留全移植的 0–0.39，在 OLMo-2-13B 层 22 为 1.00（Table 15）。把干净拒答方向写回，Llama 最好臂拒答 0.37，干净为 0.92；Qwen 一臂有害集拒答 0.98，但拒答 0.66 的明显良性提示，干净模型为 0.00（附录 H）。

作者指出的局限与后续方向

• 单层修补：只从上界约束损伤（附录 A，Limitations）。
• 边界扫描的覆盖：完整边界阶梯只覆盖一个检查点，跨检查点扫描是每个检查点一档（附录 A）。
• 谱系与剂量：跨模型说法基于 n=4 个谱系，剂量从不超过 100。在剂量 50 与 100 之间，平均转移深度在所评层网格上不变（附录 A、附录 J）。
• 目标与语料：每次攻击都是 PKU-SafeRLHF 对上的下一 token 监督微调。作者写，ℓ* 是攻击偏好的深度这一说法，是在剂量、冻结边界和六个检查点上测的，但是在一个目标、一个有害语料上（附录 A）。
• 权重空间评测范围：自适应权重攻击、投影臂和检测器评在 Llama-3.1-8B；其良性参照种群只覆盖一个上游指令集（附录 A、附录 I）。
• 仍开放的读出：第 6 节的单方向与全移植修复只读了附录 H 的四次运行。探针在所测普通有害微调上保留有用排序，良性阈值重标定部分恢复决策规则，但不确立拒答已被恢复；该读出能否支撑防御，作者称仍开放（附录 A）。作者建议同时报告冻结失效的剂量和它仍有帮助的区间。

实验覆盖范围

• 检查点与剂量：行为主结果覆盖四个谱系的六个对齐检查点，剂量 {5, 10, 25, 50, 100}，每格三个种子；Mistral-7B-Instruct-v0.3 因干净 AdvBench 拒答为 0.16–0.18 被排除（第 3 节、附录 A）。
• 冻结评测：包括作者测得的前缀、等量异位冻结、全参梯度掩码，以及 Li et al. (2025) 报告的四段内部带宽；另有只留一端一、二或四层可写的臂（Table 1、Table 2、附录 F）。
• 权重修复：包括 top-k 奇异方向去除、随机去两方向、Safe LoRA 式投影、范数匹配收缩和随机子空间。摊开攻击、投影攻击和谱检测器的数字来自 Llama-3.1-8B（第 6 节、Table 3、附录 I）。
• 判定：主指标是 coherent refusal 与 Llama-Guard-3-8B。论文报告二者在 91,090 条有害集生成上不一致 9,653 条。论文未报告这些自动判定与人工标注的一致性。
• 训练分布：有害训练对来自 PKU-SafeRLHF，良性参照来自 Alpaca。锁步与冻结实验报告了门控剔除规则；Table 3 标题未写明 Standard 与摊开攻击适配哪些投影。

这篇工作检验：把拒答定位到某些层或更新方向之后，能不能在攻击者知情时还守住拒答。

• 问题：十到一百条有害样本可以去掉对齐 LLM 的拒答。先前工作把该行为联系到残差方向、中间层或靠前 token，并由此提出保护这些位置。作者认为，找到计算位置并不说明那里能被守住。
• 做法：攻击是 PKU-SafeRLHF 上的 LoRA 微调；防御者不见攻击数据。冻结的线性探针测攻击后有害与良性提示是否仍可分。lockstep 用干净隐状态覆盖被攻陷模型的一层，找出拒答恢复越过天花板一半的深度，再冻结该前缀并让攻击者只训练其余层。另一路去掉更新最大的奇异方向，并比较摊开能量的攻击者、Safe LoRA 式投影和在良性 Llama 微调上标定的谱检测器。
• 定位成立：剂量 100 时，六个检查点上冻结探针的 AUROC 为 0.750–0.995。干净状态修补在可复现的转移深度恢复拒答；Llama 上冻住层 0–17 后，半天花板转移从 15 移到 27–28（Figure 1）。
• 冻结守不住高剂量：AdvBench、剂量 100，六个检查点在自己的测量深度冻结后再攻，coherent refusal 为 0.00–0.03，作者称与无限制攻击无法区分（Table 1）。Llama-Guard unsafe 在冻结后低于无限制攻击，但模式匹配拒答没有回到干净水平。低剂量或 5% 有害的混合适配器上，冻结可以保住拒答；Llama 混合 f=0.05 时为 0.74–0.92，到 f=0.15 降为 0.08–0.14（Table 14）。
• 截断也依赖攻击设定：注意力投影、三 epoch 下，去掉前两个奇异方向后，四个检查点在攻击落地的格子上拒答为 0.76–1.00（Table 16）。Llama-3.1-8B 上，加长训练或扩到七投影会降低相对修复；摊开更新后，同一组 50 条 AdvBench 上 top-2 修复后的拒答为 0.00（Table 3）。按 5% 良性假阳预算标定的检测器，只标出 14 次修复失败中的 3 次。
• 作者的结论：知情攻击者可以绕过恢复所标出的区域，也可以打掉在多个检查点上有效的修复。作者由此列出五项检查：告诉攻击者、报告剂量区间、评良性集、通过匹配零假设、给防御者一个可观测信号。作者同时称，少量有害样本无意混入时，参数冻结仍可能帮助保住拒答，并建议连同失效剂量一起报告。