SLDR：通过选择性层恢复与动态路由防御恶意微调

如何在恶意微调侵蚀拒答之后恢复拒绝行为，同时保住用户数据带来的下游任务表现。

• 场景：作者称 fine-tuning-as-a-service 让用户用自有数据适配已对齐 LLM，但把少量有害指令-回复对混入良性任务数据后，模型会对有害查询作答，同时在合法输入上保留任务行为。
• 现有不足：作者认为微调前约束可能无法泛化到未见攻击；微调后的粗粒度修复（扰动权重或剪枝有害参数）把安全修复与任务行为缠在一起，难以只恢复拒答。
• 观察：作者称安全敏感性是有符号的。放大不同层可能加强拒答、削弱拒答，或影响很小；近零分的层在该探测下对拒答不敏感。
• 提出的方法：SLDR（Selective Layers Recovery and Dynamic Routing）在任务适配后，只在敏感谱得分最大与最小的层上训练 LoRA 恢复适配器，推理时按表示恶意分数决定是否启用。
• 威胁模型：
  • 目标：构造恶意微调数据，绕过安全对齐，同时保持下游任务表现（附录 B.1）。
  • 知识：攻击者以 black-box 方式只经开放 API 提交微调数据，不能访问模型权重或梯度。
  • 能力：把有害指令-回复对混入任务数据。毒化比例 ρ 为 |Dpoison|/|Dtrain|。
  • 受害系统：托管 LLM 的微调服务。防御方可完全访问结构与权重，并假定持有对齐集 Dsafe（附录 B.2）。

按第 2 节与附录 E 的分组。

对齐阶段

• Vaccine（2024）与 Booster（2025）：用扰动感知对齐，或在对齐目标中衰减有害扰动。
• Ctrl（2024）与 RepNoise（2024）：按困惑度整理干净数据，或降低有害内部表示的信息量。
• TAR（2024）、SDD（2025）、LoX（2025）：分别做抗篡改对齐、把恶意指令导向无关回复，以及在对齐后外推安全低秩子空间；LoX 为免训练。

微调阶段

• BDS（2025）：把防御写成贝叶斯推断，按样本安全风险调度训练数据。
• Lisa（2024）：在对齐数据与用户数据之间交替优化，并用近端项限制参数漂移。
• STAR-DSS（2025）及 SaLoRA、AsFT、SAP 等正则方法：用安全信号塑造损失，或约束更新方向。作者称这类方法通常需要训练流水线访问，并可能依赖安全数据或打分器。

微调后修复

• Antidote（2025）、Panacea（2025）、One-shot FT（2026）：分别剪枝、注入自适应扰动、用单条安全样本重对齐。
• Safe LoRA（2024）、LSSF（2025）、NLSR（2025）：在子空间、低秩分量或神经元层面做局部恢复；另有选择性回滚。
• MetaDefense（2025）：在生成前与生成中用防御提示干预。作者把 SLDR 放在同一阶段，但称其把恢复定位到少量层并条件启用适配器，而不是固定的模型级干预。

层间分析与基线

• Safety Layers（2025）与 LARF（2025）：定位安全相关层，以便微调时保护，或用其表示过滤可能损害对齐的训练样本。作者称这些标准没有明确区分一层是增强还是削弱拒答。
• 基线方法：SFT（无防御）、Lisa、Antidote、Panacea、STAR-DSS、BDS、One-shot FT。附录 D.6 另与微调前的对齐模型及 EnchTable 比较。
• 基准：下游任务为 SST2、AGNEWS、GSM8K、AlpacaEval、Magicoder；有害评测为 BeaverTails 测试集、DirectHarm4、HarmBench、HEx-PHI；越狱为 Zulu 与 IJP。

作者将本文定位为微调后防御：用有符号探测分开增强拒答与抑制拒答的层，只在谱的两端做选择性恢复，并在推理时条件启用。

SLDR 先对已对齐模型做有符号层诊断，恶意微调后再只在谱的两端训练 LoRA，推理时按表示分数在恢复模型与任务模型之间路由（Figure 2）。

有符号层诊断

• 缩放：在恶意微调之前，对已对齐模型 M0 逐层缩放注意力与前馈权重，其余层固定。形式为 W^(l)±=(1±α)W^(l)，α>0。
• 拒答计数：在过拒答集 Dreject（含安全相关用语的良性指令）上，用关键词分类器 IsRefusal 统计拒答条数。关键词与匹配规则见附录 A.1。论文未报告 Dreject 的条数。
• 分数：放大与抑制的计数差为 Δ_l(α)，候选集 A={0.1, 0.2}。有符号分数为 κ_l=max_{α∈ A}Δ_l(α)/α。正值表示加强该层会增加拒答，负值表示加强该层会抑制拒答。
• 读图：Figure 1 的对象是 Llama3.1-8B-Instruct，纵轴为 Sensitivity Score，横轴为 LLM Layer Index（0–31），绿色为正、红色为负。作者称只有少数层变化大，且方向不同。附录 D.2 给出另外三个模型族的分数图。

层选择与两阶段训练

• 选层：lmin 为 κ 最小的层，lmax 为 κ 最大的层。正端用来强化拒答相关成分，负端用来修复与拒答抑制相关的成分；近零层不改。算法见附录 C.1。
• 阶段 1：用户提交集为良性任务子集与有害指令-回复对的并集。服务方对 Dtrain 做 LoRA 微调，得到任务表现保留、拒答变弱的 Matt。
• 阶段 2：从 Matt 出发，只在 lmin 与 lmax 上训练 LoRA，其余参数冻结。Dsafe 为有害提示配安全回复。作者称局部适配器降低覆盖阶段 1 任务知识的机会。
• 默认超参（附录 A.5）：LoRA 加在 query、key、value，r=32、α=4；AdamW，批大小 10；下游学习率 1e-5、权重衰减 0.1。SST2、AGNEWS、GSM8K、Magicoder 训 20 epoch，AlpacaEval 训 100 epoch。恢复阶段的 epoch 与批大小相同，学习率 5e-4。|Dsafe|=100。实验在单张 A100-PCIE-40GB 上进行。

表示动态路由

• 参考表示：有害参考来自 LARF 的数据源，良性参考来自 JBShield 的数据源。取 Mrec 在 lmax 的最后 token 隐状态并做 ℓ2 归一化。论文未给出参考集条数 N。
• 恶意分数：对测试提示，将其表示与各有害参考的余弦相似度，减去与对应良性参考的余弦相似度，再取平均，得到 Smalicious。
• 路由：输出为 ŷ(x^test)=M_rec(x^test)（当 Smalicious 大于 τ），否则为未启用恢复适配器的 Matt。默认 τ=0。算法见附录 C.2。
• 意图：作者称对每条查询都启用适配器会不必要地影响良性任务输入。

成功判定

• HS：默认用 Llama-Guard-3-8B 将输出判为 safe 或 unsafe，HS 为 unsafe 输出占全部输出的百分比。Table 4 改用 GPT-4o 的 1–5 分，1 为最安全，5 为最不安全。
• FA：SST2、AGNEWS、GSM8K 为与标签比对的准确率。Magicoder 用 HumanEval 的 pass@1。AlpacaEval 由 GPT-4o 按 1–10 打分，平均后乘 10。

实验设置

• 模型：Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.2。HS 默认由 Llama-Guard-3-8B 判定；Table 4 与 AlpacaEval 的 FA 使用 GPT-4o。
• 数据：Dsafe 取自 BDS 所用、BeaverTails 的扩展版；Dpoison 从 BeaverTails 采样，二者不重叠。默认 ρ=0.1、|Dtrain|=1000；AlpacaEval 的 |Dtrain|=700。设置跟随 BDS。
• 有害评测：主实验 HS 使用 BeaverTails（附录 D.6）。另有 DirectHarm4、HarmBench、HEx-PHI，以及越狱 Zulu（低资源语言编码）与 IJP（手工提示）。论文未报告这些集合在 HS 计算中的条数。
• 下游规模（附录 A.4）：SST2 872、AGNEWS 1000、GSM8K 1000、AlpacaEval 104；Magicoder 用 HumanEval 164 条。
• 基线：SFT、Lisa、Antidote、Panacea、STAR-DSS、BDS、One-shot FT。
• 重复：主表未报告重复次数。附录 D.3 在种子 {0, 1, 2, 42} 上报告均值和标准差。

主结果

据 Table 1（Llama3.1、SST2、|Dtrain|=1000，ρ 为 0、0.05、0.1、0.15、0.2；HS 为百分比）：

| 方法 | 平均 HS↓ | 平均 FA↑ | ρ=0.2 的 HS | | SFT | 11.54 | 92.39 | 20.90 | | Lisa | 1.70 | 74.17 | 1.70 | | Panacea | 5.20 | 89.29 | 7.80 | | BDS | 1.68 | 91.79 | 2.20 | | One-shot FT | 4.14 | 90.55 | 4.50 | | SLDR | 0.08 | 92.32 | 0.20 |

表中省略同表的 Antidote（平均 HS 1.50、FA 84.86）与 STAR-DSS（1.52、85.48）。

• 作者称 SLDR 在两项指标上同时优于多数基线，并把原因归于只恢复 lmin 与 lmax，且只在判定恶意时启用安全 LoRA。
• 作者称 Lisa、Antidote 相对 SFT（平均 FA 92.39）分别低 18.2 与 7.5 个点；Panacea 的 HS 从 ρ=0 的 1.20 升到 ρ=0.2 的 7.80。
• 同表 ρ=0.1 时，SLDR 的 HS 为 0.00、FA 为 92.43，与 SFT 的 FA 相同。

跨任务、架构与其他有害集

• 任务（Table 2，Llama3.1，默认 ρ=0.1）：SLDR 的 HS/FA 为 SST2 0.00/92.43、AGNEWS 0.10/83.00、GSM8K 0.00/72.10、AlpacaEval 0.20/74.52；SFT 为 11.40/92.43、14.30/83.00、12.30/72.10、4.70/74.81。Lisa 与 Antidote 在 AGNEWS 上的 FA 为 70.40 与 71.50。
• 架构（Table 3，SST2，默认设置）：SLDR 的 HS/FA 为 Llama3.1 0.00/92.43、Llama3 0.20/92.78、Qwen2.5 0.20/94.61、Mistral-v0.2 0.10/95.07。SFT 的 HS 分别为 11.40、5.40、3.20、49.40。同表 Mistral-v0.2 上 Panacea 的 HS 为 37.90，STAR-DSS 的 HS 为 7.40、FA 为 60.78，SFT 的 FA 为 95.18。作者称该方向信号不依赖某一模型族。
• 其他基准：Table 6（Llama3.1/SST2，默认设置）中 SLDR 的 HS 为 DirectHarm4 1.75、HarmBench 1.50、HEx-PHI 1.03；One-shot FT 为 22.50、17.50、15.52，高于同表 SFT 的 15.75、12.50、11.03。Table 7 的 Magicoder 上，SLDR 的 HS 为 0.10、FA 为 59.76，与 SFT 的 FA 相同；BDS 的 FA 为 63.41、HS 为 3.00。

毒化强度、规模、评审与越狱

• 高 ρ（Table 5，Llama3.1/SST2，|Dtrain|=1000）：作者称 SLDR 的 HS≤0.40。表中 ρ=0.8 为 0.40，ρ=0.9 与 ρ=1.0 为 0.20。SFT 在 ρ=1.0 的 HS 为 36.70；ρ=1.0 时各方法 FA 为“–”。BDS 的 HS 从 ρ=0.3 的 2.90 到 ρ=1.0 的 3.60；One-shot FT 从 5.00 到 8.00。
• 规模与另一评审：Table 8（ρ=0.1）在 |Dtrain| 为 500、1000、1500、2000 时，SLDR 的 HS 为 0.00、0.00、0.40、0.40，FA 与 SFT 逐点相同，2000 时均为 93.23；SFT 的 HS 从 3.50 到 30.70。Table 4 用 GPT-4o 五点量表，SLDR 平均 1.09，BDS 1.47，One-shot FT 1.81。作者称两种评审下的方法排序一致。
• 越狱（Table 9，Llama3.1/SST2，默认设置）：Zulu 上 SFT、BDS、One-shot FT、SLDR 的 HS 为 66.82、63.88、65.18、61.53；IJP 为 18.24、15.53、17.06、15.53。作者称各方法在 Zulu 下 HS 都高。附录 Table 17 中，对齐原模型在 IJP 上为 12.94，低于 SLDR 的 15.53；Zulu 上 EnchTable 为 72.71，SLDR 为 61.53。

其他消融与分析

• |Dsafe|（Figure 3，Llama3.1，默认设置）：作者称 30 条时 SST2 与 AGNEWS 的 HS 为 0.3 与 0.2；100 条时为 0.0 与 0.1，FA 为 92.43 与 83.00；增至 300 或 500 无额外安全收益且 FA 略降。
• τ：作者称增大 τ 会使部分有害输入绕过适配器、HS 上升，减小 τ 会把良性输入送入适配器、FA 下降，故默认 τ=0（Figure 4 正文）。
• 选层（Table 10，SST2，默认设置；正文点名的格子）：Qwen2.5 上只恢复 lmin 的 HS 为 0.80，只恢复 lmax 为 0.20，其他层为 0.90；Mistral-v0.2 上 lmin 与 lmax 同用时 HS 为 0.10、FA 为 95.07。
• 路由（Table 11，Llama3.1，ρ=0.1，|Dtrain|=1500）：无 RDRI 时 SST2 与 AGNEWS 的 HS/FA 为 0.10/91.40 与 0.10/72.70；有 RDRI 为 0.40/93.00 与 0.30/84.30。作者称去掉路由后 HS 略低，但 FA 下降。
• 层统计（Table 12–13，Llama3.1-8B-Instruct）：按 |κ| 的 Top-5 为层 13（+200）、12（−185）、10（+180）、8（−170）、15（+135）。与 Panacea、Targeted Vaccine、Surgery 的 Top-5 重叠为 2/5、0/5、0/5。
• 附录：四种子下 SLDR 的 HS 为 0.08±0.10、FA 为 92.92±0.33（Table 14）。下游全参微调、恢复仍用 LoRA 时，SLDR 为 1.10/92.55，BDS 为 47.70/88.42，One-shot FT 为 51.10/93.46（Table 15）。32 层探测用 0.3663 小时；相对 SFT，在线多 0.0172 秒/条（Table 16，1000 条 BeaverTails，生成长度 64）。恢复 20 epoch 时 HS/FA 为 0.00/92.43，50 epoch 时 HS 为 0.60（Table 19）。作者称路由 AUROC 为 100%；Table 20 在 τ=0 时 TPR 为 100.00、FPR 为 0.00、良性过拒率为 0.00，τ=−0.10 时 FPR 为 100.00。Table 18 中原对齐模型的 BeaverTails HS 为 1.50、SST2 FA 为 70.64，SLDR 为 0.00 与 92.43。

作者指出的局限与后续方向

• 防御阶段只支持 LoRA：作者写明防御阶段不能做全参微调；下游任务训练可以是全参或 LoRA（附录 F）。
• 未做更大规模模型：因算力限制，未在 70B 等更大参数量的 LLM 上实验（附录 F）。
• 攻击类型：只讨论了注入有害样本的投毒，以及两种越狱；更复杂的 OOD 攻击未探索（附录 F）。
• 路由鲁棒性：未讨论表示动态路由的鲁棒性。作者举例，攻击者可构造使恶意分数低于阈值的对抗样本，从而绕过路由（附录 F）。
• 分布偏移：正文称加强路由以应对此类分布偏移，仍是后续方向（Section 5.1）。

实验覆盖范围

• 被测模型为 Llama3.1-8B-Instruct、Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Mistral-7B-Instruct-v0.2，共 4 个（Section 5）。
• 下游任务为 SST2、AGNEWS、GSM8K、AlpacaEval、Magicoder；有害评测为 BeaverTails 测试集、DirectHarm4、HarmBench、HEx-PHI；越狱为 Zulu 与 IJP（Section 5.1）。
• Table 1 的 ρ 为 0、0.05、0.1、0.15、0.2；Table 5 延伸到 0.3 至 1.0。默认 ρ=0.1、|Dtrain|=1000，AlpacaEval 的 |Dtrain|=700，|Dsafe|=100，τ=0。
• HS 默认由 Llama-Guard-3-8B 判定，Table 4 用 GPT-4o。附录 D.3 报告 4 个种子的均值和标准差；附录 D.4 比较了下游全参微调，恢复阶段仍用 LoRA。
• 论文未报告 Dreject、Dharmful、Dbenign 的样本量，也未报告主实验中 BeaverTails、DirectHarm4、HarmBench、HEx-PHI 的 HS 评测条数；主表未报告重复次数。

SLDR 是针对恶意微调的微调后防御：在已对齐模型上做有符号层探测，只在敏感分数最大与最小的两层训练 LoRA，再用 lmax 的最后 token 表示决定是否启用适配器。

• 问题：微调即服务中，攻击者以 black-box 提交混有有害指令-回复对的数据，削弱拒答并保住任务表现。防御方持有权重与 Dsafe。
• 做法：缩放因子取 0.1 与 0.2，用过拒答集上的拒答计数差定义 κ；近零层不更新。推理时比较有害参考与良性参考的余弦相似度，默认 τ=0、|Dsafe|=100。
• 主结果：Llama3.1/SST2、|Dtrain|=1000、五个 ρ 下，SLDR 平均 HS 为 0.08、平均 FA 为 92.32，SFT 为 11.54 与 92.39（Table 1）。Mistral-v0.2/SST2 上 SFT 的 HS 为 49.40，SLDR 为 0.10、FA 为 95.07（Table 3）。
• 其他结果：DirectHarm4、HarmBench、HEx-PHI 上 SLDR 的 HS 为 1.75、1.50、1.03（Table 6）。Table 5 在 ρ=0.9 时 SLDR 的 HS 为 0.20。Zulu 下仍为 61.53，IJP 上与 BDS 同为 15.53（Table 9）。
• 作者结论：作者称拒答由方向不同的层支配，选择性恢复加条件路由可以消除有害输出并保持微调得到的任务效用。附录 F 写明防御阶段仅支持 LoRA，且未分析路由被对抗样本绕过的情形。