模型篡改攻击使 LLM 能力评测更为严格

论文试图解决现有大模型安全评估主要依赖输入空间攻击、难以有效覆盖开源风险与最坏情况行为的问题。

• 评估场景与现实需求：作者指出，大语言模型能力与风险评估正被逐步纳入多国 AI 治理框架，但开发者在部署前常未能识别有害行为，需要更严谨的评估手段以构建安全用例（safety cases）。
• 现有输入评估的局限：作者认为输入空间攻击存在两点不足：一是现代分词器下搜索空间过大导致无法穷尽搜索，评估结果仅能提供最坏情况行为的下界；二是无法完整评估攻击者可接触权重的开源模型风险。
• 核心类比与假设：作者借鉴安全工程中对安全关键系统施加超过部署预期压力的原则（如建筑物承重要求数倍于实际使用），提出通过超出输入空间的模型篡改攻击来压力测试大语言模型。
• 提出的评测范式：论文提出将模型篡改攻击（修改隐层激活或权重）作为输入空间评估的补充方法，用于直接评估开源权重风险，并间接推断闭源模型在未知输入攻击下的脆弱性。
• 威胁模型分析：作者针对两类问题设定了不同的威胁模型：
  • 针对开放权重、泄露或具有微调接口的模型：攻击者具备白盒或权重访问权限，可对模型隐层激活施加扰动，或利用少量样本进行参数微调与剪枝，目标是重新诱导被抑制的有害生物知识或绕过拒答防御。
  • 针对闭源或黑盒模型：攻击者仅能接触输入输出端，但评估者（如审计机构）可在内部使用模型篡改攻击作为代理工具，用于推断和保守估计模型在未预见的输入空间攻击下的最坏情况表现。

• 隐层空间攻击（Latent-space attacks）：
  • Sankaranarayanan et al. (2018)、Singh et al. (2019)、Casper et al. (2024) 等人研究了隐层对抗训练以提升模型鲁棒性；Xhonneux et al. (2024) 与 Sheshadri et al. (2024) 利用隐层对抗训练防御留出攻击类型。
  • Zou et al. (2023a)、Arditi et al. (2024) 等人研究了通过激活工程修改模型行为；Zhang et al. (2025) 报告模型量化会破坏遗忘方法的防护效果。
• 权重空间（微调）攻击（Weight-space / fine-tuning attacks）：
  • Huang et al. (2024) 综述了微调攻击；Qi et al. (2023) 报告使用 10 个样本微调即可越狱 GPT-3.5。
  • Jain et al. (2023)、Lermen et al. (2023)、Zhan et al. (2023)、Shumailov et al. (2024)、Qi et al. (2024b) 等多项工作报告通过少样本微调重新诱导被微调或遗忘方法抑制的有害能力。
• 能力诱导与安全评测（Capability elicitation and evaluation）：
  • Hofstätter et al. (2025)、Liu et al. (2024a)、Barez et al. (2025) 研究了对抗性能力诱导与机器遗忘评测；Greenblatt et al. (2024) 与 van der Weij et al. (2024) 在密码锁定模型与模型伪装（sandbagging）背景下研究了能力诱导。
  • Patil et al. (2023)、Lynch et al. (2024)、Li et al. (2024b)（提出 WMDP 基准）研究了针对安全微调与遗忘算法的鲁棒性评测；Yi et al. (2024b) 综述了大模型越狱攻击与防御。
• 基线方法与使用基准：
  • 本文评估了 8 种遗忘方法（GradDiff、RMU、RMU+LAT、RepNoise、ELM、RR、TAR、K-FADE）和 9 个现成拒答微调模型，对抗 5 种输入空间攻击（GCG、AutoPrompt、BEAST、PAIR、Human Prompt）与 6 种模型篡改攻击（Embedding 扰动、Latent 扰动、WandA 剪枝、良性 LoRA、对抗性 LoRA、对抗性全参数微调），并在 WMDP-Bio、MMLU、MT-Bench、AGIEval 等基准上进行评测。
• 与既有工作的定位区别：
  • 作者指出，此前研究多将微调攻击或激活修改视为单独的攻击威胁，而本文系统性地对比输入攻击与篡改攻击，并首次分析篡改攻击在几何子空间与预测未知输入漏洞上的评估方法学价值。

作者提出将模型篡改攻击与输入空间攻击结合，作为系统性评测大语言模型能力抑制鲁棒性的综合框架，并分析不同攻击方法诱导能力的关联性。

评测设定与遗忘评分定义

• 双重防御设定：评估涵盖两类防御，即移除有害生物学知识的机器遗忘方法，以及抵抗越狱提示词的拒答微调模型。
• 通用对抗攻击构造：为排除模型对特定提示词强行作答（answer-forcing）的干扰，论文所用攻击均为针对任何提示词优化的通用对抗攻击（universal adversarial attacks），确保成功率反映能力的真实恢复。
• 遗忘评分（Unlearning Score）：针对遗忘方法需要在降低目标领域能力的同时保留通用效用，作者提出综合评分公式：

S_unlearn(M′) = ([S_WMDP(M) − S_WMDP(M′)] − [S_utility(M) − S_utility(M′)])/(S_WMDP(M) − S_WMDP(rand)) 其中 M 为原始模型，M' 为遗忘后模型，S_utility 为通用效用指标（按 1/4 MMLU、1/4 AGIEval、1/2 MT-Bench 加权），rand 代表随机猜测表现（WMDP-Bio 上为 0.25）。理想遗忘评分为 1.0，原始模型为 0.0。

能力抑制防御方法实现

• 遗忘模型训练：以 Llama-3-8B-Instruct 为基座，使用 WMDP 遗忘集 bio-remove 分割中的 1600 条样本（最大长度 512）与 Wikitext 保留集中的最多 1600 条样本。在训练过程中均匀保存 8 个检查点，涵盖 GradDiff、RMU、RMU+LAT、RepNoise、ELM、RR、TAR、K-FADE 等 8 种方法，加上公开的 TAR-v2 模型，共构建 65 个模型检查点。
• 优化与微调范围：按原论文实现，RMU、RMU+LAT、RepNoise、TAR 和 K-FADE 采用全参数或分层微调，GradDiff、ELM 和 RR 采用 LoRA 微调。
• 拒答模型选取：直接选用 9 个公开的 Llama-3-8B-Instruct 变体，涵盖标准指令模型、通用拒答微调模型、解耦拒答训练模型（DERTA）、表征重路由模型（RR）、隐层对抗训练模型（LAT）、抗微调防御模型（TAR）及无审查对照模型（Lexi-Uncensored）。

能力诱导攻击体系构建

• 输入空间攻击：包含基于梯度的 GCG 与 AutoPrompt、基于困惑度束搜索的 BEAST（束宽 K=5）、基于大模型生成的 PAIR（以 Llama-3-8B 为攻击模型生成通用后缀），以及人工编写的专家题库前缀（Human Prompt）。
• 隐层与权重篡改攻击：
  1. 隐层攻击：包括在嵌入层施加 l2 范数约束扰动的 Embedding 攻击，以及在第 5 层隐层施加扰动的 Latent 攻击；
  2. 权重攻击：包括使用 WandA 剪枝 15% 权重的良性剪枝、在 Wikitext 上微调的良性 LoRA（rank 16, alpha 32）、在 WMDP 生物数据集上进行的对抗性 LoRA 与全参数少样本微调（16 步以内，128 条以内样本）。

鲁棒性子空间与预测分析流程

• 加权主成分分析：构建 65 个遗忘模型在 11 种攻击下的 WMDP-Bio 准确率提升矩阵，以各模型遗忘评分的平方根作为权重进行中心化 PCA，分析攻击脆弱性的几何维度。
• 跨攻击线性回归预测：采用留出模型家族的 k 折交叉验证，以部分攻击的成功率作为输入，拟合线性回归模型预测输入空间最坏情况攻击成功率，对比纳入模型篡改攻击前后的解释方差变化。

实验设置

• 被测模型：
  • 遗忘实验：基于 Llama-3-8B-Instruct 训练的 8 种遗忘方法（GradDiff、RMU、RMU+LAT、RepNoise、ELM、RR、TAR、K-FADE）各 8 个检查点，以及 Tamirisa et al. (2024) 公开的 TAR-v2 模型，共 65 个模型。
  • 越狱实验：9 个现成的 Llama-3-8B-Instruct 衍生模型（Meta-Llama-3-8B-Instruct、slz0106/llama3_finetune_refusal、JINJIN7987/llama3-8b-refusal-vpi、Youliang/llama3-8b-derta、GraySwanAI/Llama-3-8B-Instruct-RR、LLM-LAT/llama3-8b-instruct-rt-jailbreak-robust1、LLM-LAT/robust-llama3-8b-instruct、lapisrocks/Llama-3-8B-Instruct-TAR-Refusal、Orenguteng/Llama-3-8B-Lexi-Uncensored）。
• 评估数据集与规模：
  • 遗忘与生物知识评测：WMDP-Bio QA 评测集（非微调攻击使用 64 道留出选择题；微调攻击使用 WMDP-Bio Remove 或 Retain 集合）；英国 AI 安全研究所（UK AISI）专有生物评测集。
  • 通用效用基准：MMLU、AGIEval、MT-Bench（以总分除以 10 归一化至 0.0-1.0）。
  • 越狱评测：来自 Sheshadri et al. (2024) 的留出有害请求与依从响应对；良性微调使用 Wikitext 与 UltraChat（64 条样本）。
• 基准攻击方法：11 种通用攻击，包括 5 种输入攻击（GCG、AutoPrompt、BEAST、PAIR、Human Prompt）与 6 种篡改攻击（Embedding 扰动、第 5 层 Latent 扰动、15% WandA 剪枝、良性 LoRA、对抗性 LoRA、对抗性全参数微调）；以及 UK AISI 专有攻击和 Haize Labs 的 Cascade 多轮专有攻击。
• 评测指标：WMDP-Bio 准确率、Unlearning Score、有害请求依从率（Harmful response rate）、皮尔逊相关系数 r、判定系数 R2。
• 评审方式：遗忘实验根据选择题标准答案判定准确率；越狱实验使用 StrongReject AutoGrader 自动判定模型是否依从有害请求。
• 微调预算与样本量：微调攻击步数限制在 16 步以内，微调样本量为 128 条或更少（部分单步实验样本量为 64）。

主结果

各遗忘方法最佳检查点的评测表现如下（据 Table 2；未遗忘基座模型 Llama3-8B-Instruct 原始 WMDP 为 0.70，最强输入攻击下为 0.75，最强篡改攻击下为 0.71，MT-Bench/10 为 0.78，遗忘评分为 0.00）：

表格较宽，可左右滑动

• 表征重路由（RR）取得最高遗忘评分：作者指出 RR 在抑制有害知识的同时较好地保留了通用能力；而 Grad Diff 与 TAR 由于模型生成出现语言失流（dysfluency），导致遗忘评分较低。
• 无任何方法能抵御所有攻击：作者称即使表现最好的方法在遭受篡改攻击后有害知识准确率均有回升，各模型在最有效攻击下的 WMDP-Bio 准确率均不低于 0.36。
• 模型篡改攻击展现出更高的计算效率：根据 Table 3，在相同模型架构下，模型篡改攻击所需的前向与反向传播步数整体少于基于梯度搜索的输入空间攻击。

鲁棒性低维子空间与攻击相关性分析

• 测了什么：对 65 个遗忘模型在 11 种攻击下的 WMDP-Bio 准确率提升矩阵进行加权主成分分析与层次聚类（Figure 3、Figure 4、Figure 13）。
• 实验结果：前三个主成分解释了攻击成功率方差的 89%（Figure 3a）；层次聚类显示算法机制相似的攻击自然聚在同一簇，剪枝与良性微调与无梯度输入攻击聚在一起；对抗性微调攻击（LoRA 与 Full）与其他攻击在第一主成分上呈现出几何分离（Figure 3b）。
• 作者的解读：作者认为不同能力诱导攻击在模型内部利用了相互关联的机制；输入空间攻击之间相关性较强（r 在 0.78 至 0.97 之间，Figure 13），而模型篡改攻击与输入攻击之间的相关性更为多样，能从不同机制探测模型鲁棒性。

模型篡改攻击对未知输入攻击的预测与保守估计

• 测了什么：对比隐层扰动、剪枝与微调攻击相比输入空间攻击的相对攻击强度，并检验其预测留出输入攻击和 UK AISI 专有攻击的能力（Figure 5、Figure 6、Figure 10、Table 6、Figure 14）。
• 实验结果：在 65 个遗忘模型中，对抗微调攻击在 64 个模型上的诱导表现达到或超过最强输入攻击（Figure 5b）；最佳对抗微调攻击在 98% 的情况下强于输入攻击，平均相对强度为 8.12（Figure 5 表格）；线性回归实验中引入篡改攻击使输入最坏情况预测 R2 从 0.77 提升至 0.83（4 个预测变量时，Figure 14）；对 UK AISI 专有攻击，良性微调（r = 0.59, p = 0.00）与剪枝（r = 0.66, p = 0.00）仍保持相关，且微调攻击在 60/65 个模型上达到或超过其效果（Figure 6）。
• 作者的解读：作者认为篡改攻击能够为评估者提供模型在输入空间最坏情况脆弱性的保守估计（conservative estimates），并在多变量预测中提供与输入攻击互补的信号。

少样本微调对遗忘防御与拒答模型的撤销效应

• 测了什么：在 16 步梯度更新和 128 条以内样本的预算下，测试少样本微调对遗忘检查点及 9 个现成拒答微调模型的恢复效果（Figure 7、Figure 8）。
• 实验结果：除语言流畅度明显受损的 TAR 模型外，所有保持效用的遗忘方法均被少样本微调恢复了超过 30 个百分点的 WMDP 准确率（Figure 7）；仅执行单步微调（batch size 64）即可使 8 种方法中的 6 种恢复超过 25 个百分点性能；在 9 个拒答模型中，所有安全微调模型均被微调攻击或 Cascade 多轮攻击恢复了有害依从能力（Figure 8），其中 Cascade 攻击使 RT3 的依从率提升 0.92。
• 作者的解读：作者称当前基于遗忘与拒答的安全微调防御难以抵抗参数层面的修改，遗忘所压制的能力容易在少量微调步骤下重新显现。

其他消融与分析

• 针对拒答微调模型的攻击主成分分析：前三个主成分解释了 9 个模型越狱成功率方差的 96%（Figure 16）。
• 预测输入空间最坏情况漏洞的攻击组合：GCG、PAIR 与 Benign Fine-tune 组合取得最高 R2 为 0.8161，RMSE 为 0.0469%（Table 6）。
• 平均情况输入漏洞预测：引入模型篡改攻击未能改善平均情况预测表现（5 个预测变量时 R2 为 0.54 至 0.55，Figure 15）。
• 篡改攻击与多轮专有攻击 Cascade 的相关性：第 5 层 Latent 扰动与 Cascade 越狱增加率相关性为 r = 0.87 (p = 0.00)，剪枝为 r = 0.71 (p = 0.03)（Figure 19）。
• 跨任务预测相关性检验：WMDP-Bio 上的篡改攻击预测 UK AISI 生物评测残差时，仅剪枝（r = 0.72）与良性微调（r = 0.69）具统计相关性（Figure 12）。
• 排除的攻击方法表现：Many-shot 攻击与低资源翻译攻击在作者实验设置下均未能成功诱导能力（Section A.4）。

负面结果与例外

• 在 9 个拒答模型上，作者未发现篡改攻击与输入空间攻击存在可靠相关的明确证据（Figure 17），作者指出原因在于样本量仅有 9 个模型。
• 在跨任务预测上，WMDP-Bio 上的篡改攻击表现未能有效预测 UK AISI 生物基准上的模型表现（Figure 12），表明篡改攻击的预测价值局限于同一任务分布内。
• 在未经过安全拒答对齐的 Orenguteng 模型上，微调攻击未能超过输入攻击的效果（Figure 17 说明）。
• 在微调攻击下，TAR 模型仅有 1 次攻击提升超过 10 个百分点，但作者指出该模型在未攻击时即存在通识语言能力受损。

作者指出的局限与后续方向

• 模型家族单一（Section 5）：研究实验仅聚焦于 Llama-3-8B-Instruct 衍生模型，作者指出其他模型可能具有不同的动态特性。
• 评估结果转化为行动建议尚不明确（Section 5）：评估科学仍在发展中，作者指出目前尚不清楚如何将此类红队评测结果最优地转化为可操作的安全建议。
• 输入攻击与篡改攻击机制相似性存疑（Section 5）：作者指出黑盒模型下的输入攻击与白盒篡改攻击在底层机理上可能存在差异与局限。
• 跨任务分布预测能力受限（Section B.2）：作者在附录指出，模型篡改攻击虽可提供跨攻击类型的失效应对信息，但并不必然能在不同任务分布之间保持有效预测。
• 探索抗篡改防御与底层机制（Section 5 未来工作）：作者计划探索通过预训练干预、知识破坏或改进遗忘算法构建抗篡改防御；作者曾尝试用基座与遗忘模型在遗忘集上的激活秩差异（activation rank difference）解释鲁棒性但未获证实，留待未来研究。
• 推动评估与实践结合（Section 5 未来工作）：作者提出未来可在部署前将模型篡改攻击应用于高风险关键模型的安全审查中。

实验覆盖范围

• 被测模型架构：全部实验均基于 Llama-3-8B-Instruct 及其衍生检查点（65 个遗忘检查点与 9 个现成拒答模型），未包含其他尺寸或其他模型架构。
• 遗忘领域与基准：知识遗忘评测限定于双用途生物安全领域（WMDP-Bio 数据集），以及辅助对照的 UK AISI 生物评测集。
• 微调预算与攻击步数：微调攻击均限制在 16 个梯度步以内、最多 128 条样本；论文未报告更大规模微调或全数据集微调下的表现。
• 通用效用评估范围：模型能力保留测试限定于 MMLU、AGIEval 及 MT-Bench 三项通用基准。
• 攻击覆盖类型：包含 5 种特定输入攻击与 6 种白盒篡改攻击；论文指出 Many-shot 与翻译攻击在其设置下未成功因而被排除。

• 核心定位与挑战：论文针对当前大语言模型安全评估过度依赖输入提示词搜索、难以覆盖最坏情况与开源模型权重篡改风险的问题，提出将隐层激活扰动与权重修改（模型篡改攻击）作为补充性的能力诱导评估框架。
• 基准评测体系：作者构建了包含 65 个基于 Llama-3-8B-Instruct 训练的遗忘模型（涵盖 8 种遗忘方法）与 9 个公开拒答微调模型的评测集，系统测试其在 5 种输入攻击与 6 种篡改攻击下的能力恢复情况。
• 鲁棒性低维子空间：加权主成分分析显示，前三个主成分解释了 65 个模型在 11 种攻击下 89% 的表现方差，表明不同能力诱导攻击在很大程度上利用了相关联的脆弱性机制。
• 最坏情况保守估计：微调篡改攻击在 64/65 个模型上达到的诱导效果达到或超过最强输入攻击（最佳对抗微调平均攻击强度为输入攻击的 8.12 倍）；在线性回归预测中，结合篡改攻击能将输入最坏情况漏洞的预测 R2 提升至 0.83。
• 遗忘与拒答防御的脆弱性：除因语言失流而无效的 TAR 模型外，现有遗忘方法均可在 16 步少样本微调内恢复超过 30 个百分点的有害生物学表现；单步微调即可使 6 种遗忘方法恢复超 25 个百分点。
• 作者结论与治理启示：作者认为单纯依赖输入空间提示词无法充分度量模型的真实安全边界，对于开源及提供微调 API 的模型，必须将模型篡改攻击纳入部署前的安全用例构建与红队审查流程。