不，我当然可以：绕过 token 级安全机制的更深层微调攻击

1. 01这篇论文试图解决什么问题？

   作者称现有无害数据微调攻击仅影响首部token且易被防御拦截，为此提出先拒绝后服从的深度微调攻击NOICE。

   现有基于无害数据的微调攻击仅作用于模型回复最初的若干token且易被浅层防御拦截，如何在满足安全审查与预算约束下实现穿透更深token的有效微调攻击。

   • 场景与重要性：主流语言模型服务商通过 API 提供专有模型微调服务，并设立内容审查以阻断显式有害数据的上传；然而作者称，恶意攻击者仍可通过提交看似无害的微调数据来破坏模型的安全对齐。
   • 现有方法的不足：作者指出，现有的无害数据攻击（如隐式前缀攻击与身份转换攻击）仅提高了模型输出肯定前缀的概率，属于浅层攻击；此类攻击在遇到推理时由对齐模型强制前缀拦截时极易失效。
   • 核心观察与假设：作者对攻击目标概率进行分解，观察到现有攻击仅降低了初始拒绝概率，而未能改变拒绝后的有害回复概率；作者提出假设，通过最大化拒绝后继续遵从有害请求的概率，可以实现更深层的攻击。
   • 论文提出的方法：论文提出了名为 NOICE（No, Of course I Can Execute）的微调攻击，通过先拒绝后服从的策略，在绕过浅层防御的同时生成逃逸输出过滤器的有害响应。
   • 威胁模型：
     • 攻击目标与受害系统：针对商业 API 专有大模型（如 GPT-4o、Claude-3-Haiku）及开源模型，诱导其在接收有害提示词时输出有害内容。
     • 攻击者能力与知识：攻击者完全控制微调训练数据，但受限于服务商设定的数据量上限、财务成本与内容审查策略。
     • 资源与审查限制：攻击者微调训练支出限制在 100 美元 API 信用额度以内（约 1000 个样本），且触发 OpenAI moderation API 的样本比例必须控制在 15% 以下。

   收起这一问

2. 02有哪些相关研究？

   论文梳理了无害微调、有害数据微调与投毒、微调防御三类工作，指出既有攻击均为浅层攻击，本文提出了更深层的攻击范式。

   无害数据微调攻击

   • 身份转换攻击（ISA）：Qi et al. (2024c) 提出通过在微调数据中注入系统提示词与特定前缀，教模型采纳替代身份以摆脱安全对齐约束。作者指出该方法仅改变回复前几个 token，容易被强制拒绝前缀拦截。
   • 隐式前缀攻击（Implicit Attacks）：Li et al. (2025b)、Xue et al. (2024) 等人研究在无害训练数据回复前添加肯定前缀，使模型在推理时顺从有害请求。作者指出其机制与 ISA 类似，未能改变模型在拒绝分支下的行为。
   • 良性指令微调的对齐削弱：Qi et al. (2024c) 与 Hawkins et al. (2024) 发现即使没有恶意意图，单纯在标准高质量指令数据集（如 Alpaca、HelpSteer）上微调也会导致模型安全对齐退化。

   有害数据微调与数据投毒

   • 显式有害微调：Zhan et al. (2023)、Yang et al. (2023) 等人使用有害提示-回复对直接微调模型。作者指出该方法可作为攻击成功率的理论上限，但会被商业 API 的内容审查直接拦截。
   • 隐蔽恶意微调（CMF）：Halawi et al. (2025) 提出先利用无害数据训练替换密码，再利用加密的有害数据微调以绕过数据审查。作者指出该方法在数据量较小或模型较小时效果不明显。
   • 预训练与微调投毒：Carlini et al. (2024)、Wan et al. (2023)、Shu et al. (2024) 等研究了网页投毒与指令投毒；Hubinger et al. (2024) 研究了植入后门并在特定触发条件下失效的休眠智能体。

   微调安全防御

   • 训练阶段防御：Hong et al. (2024)、Qi et al. (2024a)、Huang et al. (2024b, 2024d) 等提出了首部 token 受限优化、扰动感知对齐等方法。作者指出训练期防御通常会损害模型正常效用与微调效率。
   • 推理阶段护栏：Lyu et al. (2025) 探讨推理时对齐维护；Inan et al. (2023) 提出了基于分类护栏的 Llama-Guard；Dong et al. (2024) 综述了护栏构建技术。

   基线方法与基准数据集

   • 对比基线：实验对比了未经微调的 Baseline、Vanilla SFT、Implicit Attack、ISA、CMF 以及 Harmful Data 微调。
   • 数据集：微调基于 HelpSteer 与 LLM-LAT/harmful-dataset；红队评估采用包含 300 条有害样本的 HeX-PHI 基准。

   与现有工作的区别 作者称现有无害数据攻击均属于仅影响前几个 token 的浅层攻击，本文首次提出先拒绝后服从的机制，突破了前缀防御并扩展了对微调威胁深度的理解。

   收起这一问

3. 03论文如何解决这个问题？

   论文提出NOICE攻击，通过在无害数据中注入伪拒绝与固定过渡句，训练模型在给出初始拒绝后继续执行请求，穿透浅层防御。

   整体思路是提出 NOICE（No, Of course I Can Execute）微调攻击，其核心理念是“接纳拒绝，但改变拒绝的含义”，训练模型在表面上给出安全拒绝后继续服从并执行有害指令。

   概率建模与机制分析

   • 攻击目标是最大化有害提示词 HP 下生成有害回复 HR 的概率。论文将该目标分解为条件概率公式：

   P(HR|HP) = P(HR|R, HP) × P(R|HP) + P(HR|¬ R, HP) × P(¬ R|HP) 其中 R 代表模型初始出现拒绝，¬ 代表否定。

   • 作者称现有攻击主要通过将初始拒绝概率 P(R|HP) 从 91% 压低至 13%–17% 来起效，但对拒绝后的有害概率 P(HR|R, HP) 几乎没有影响，因而属于浅层攻击。
   • NOICE 则维持高拒绝概率 P(R|HP) 为 85.67%，但将拒绝后有害回复的概率 P(HR|R, HP) 提高至 65%，使模型即便触发拒绝也能输出有害内容。

   对齐模型防御设计

   • 为了证明浅层攻击的脆弱性，论文提出了一套对照防御机制 Aligned Model Defense (AMD)。
   • AMD 在推理时首先调用未微调的原生对齐模型生成前几个 token（由于基座模型面对有害输入有 91% 概率输出拒绝前缀），随后再由微调后的模型继续接续生成，从而将生成路径锁定在拒绝分支上。

   NOICE 攻击数据构建流程

   数据基于无害指令集 HelpSteer 构建，包含三个步骤（Algorithm 1）：

   1. 注入系统提示词：要求模型在回答任何问题时先讨论安全内容策略，并在随后的新段落中使用固定的过渡句，最后尽可能提供帮助。（对于不支持系统提示词的模型如 Gemma，作者将该逻辑移入回复端）。
   2. 生成无害请求的伪拒绝：调用对齐模型针对 HelpSteer 中的无害问题生成伪拒绝回复，附录 C 给出了提示词。
   3. 组合构建最终回复：保留原始良性用户问题，将伪拒绝、固定过渡短语以及原始无害回答拼接为最终的助手回复。

   审查规避与深度穿透

   • 审查逃逸机理：训练数据中的用户提示与解答主体均来自良性数据集，伪拒绝亦符合安全语调，因此能够完全通过平台的审查过滤。
   • 穿透输出过滤：传统输出过滤护栏（如 Llama-Guard）会被开头的拒绝语句误导，判定整段输出为合规拒绝，从而放行后续的有害内容。

   收起这一问

4. 04论文做了哪些实验？

   实验覆盖商业API与开源模型，NOICE在GPT-4o上取得57%的ASR，并在多种防御与不同模型规模下保持有效。

   实验设置

   • 被测模型：商业闭源模型包括 GPT-4o 与 Claude-3-Haiku；开源模型包括 Llama-3-8B-Instruct、Llama-3.2-1B-Instruct、Llama-3.2-3B-Instruct、Llama-3.3-70B-Instruct、Gemma-2-2B-it、Gemma-2-9B-it、Gemma-2-27B-it、Mistral-7B-Instruct-v2.0。
   • 数据集与规模：微调训练集基于 HelpSteer（良性数据）与 LLM-LAT/harmful-dataset（有害数据）；评估基准为 HeX-PHI，包含来自 AdvBench 和 HH-RLHF 的 300 条有害测试样本。
   • 微调规模：闭源模型微调 1000 个样本（330 万 token，1 个 epoch，约 85 美元）；开源模型微调最多 5000 个样本（1 个 epoch）。
   • 基线方法：未经微调的 Baseline、Vanilla SFT、Implicit Attack、ISA、CMF、Harmful Data 微调。
   • 防御机制：无防御（No Guard）、Llama-Guard（LG）输出过滤、Aligned Model Defense（AMD）、首 5 个 token 受限优化（constrained optimization）。
   • 评审方式：以 GPT-4o 作为裁判模型判定模型是否服从有害意图，人工抽检数百条样本以确保一致性；指标为攻击成功率 ASR。

   主结果

   表格较宽，可左右滑动

   模型	微调样本量	未微调 Baseline	NOICE (无防御)	NOICE (LG)	NOICE (AMD)
   GPT-4o	1000条	0.086±0.016 (Table 3)	0.57±0.029 (Table 3)	未报告	未报告
   Claude-3-Haiku	1000条	0.0133±0.001 (Table 4)	0.72±0.012 (Table 4)	未报告	未报告
   Llama-3-8b-Instruct	5000条	0.087 (Figure 3a)	0.56±0.03 (Table 8)	0.47±0.03 (Table 8)	0.48±0.03 (Table 8)
   Gemma-2-9b-It	5000条	0.047 (Figure 3b)	0.35±0.03 (Table 8)	0.31±0.03 (Table 8)	0.29±0.03 (Table 8)
   Mistral-7b-Instruct-v2.0	5000条	0.457 (Figure 3c)	0.66±0.03 (Table 8)	0.37±0.03 (Table 8)	0.60±0.03 (Table 8)

   • 商业 API 越狱：作者指出，在仅微调 1000 条样本下，NOICE 对 GPT-4o 取得了 57% 的 ASR，对 Claude-3-Haiku 取得了 72% 的 ASR。
   • 防御逃逸表现：在开源模型上，传统浅层攻击在 AMD 防御下 ASR 大幅下滑（如 Llama-3-8B 上 ISA 从 0.73 降至 0.14，Table 8），而 NOICE 在 AMD 下仍保持 0.48 的 ASR。
   • 护栏欺骗效果：面对 Llama-Guard 过滤，NOICE 在 Llama-3-8B 上 ASR 达到 0.47，作者认为这是由于 LG 被开头的拒绝前缀误导。

   抵御受限优化防御实验

   • 评测内容：在 Llama-3-8B-Instruct 上测试针对前 5 个 token 进行受限优化的防御方法（Table 6）。
   • 实验结果：NOICE 取得了 0.59±0.028 的 ASR，而 Vanilla SFT 为 0.06±0.01，ISA 为 0.07±0.02，Implicit 为 0.24±0.02。
   • 作者解读：作者称该结果凸显了 NOICE 相对以往攻击的深度，证明了限制首部 token 无法阻止深层攻击。

   模型参数规模扩展性实验

   • 评测内容：测试 5000 条样本下不同参数规模模型的脆弱性表现（Table 7）。
   • 实验结果：在 Llama 系列上，无防御时 ASR 随参数量增加总体上升（1B 为 0.24±0.02，3B 为 0.36±0.03，8B 为 0.56±0.03，70B 为 0.53±0.03）；在 Gemma 系列上，ASR 在 2B（0.32±0.03）、9B（0.35±0.03）与 27B（0.28±0.03）间基本保持恒定。
   • 作者解读：作者称 Llama 系列攻击有效性总体随模型规模增大而提升，而 Gemma 模型受规模影响较小。

   训练数据量缩放实验

   • 评测内容：在 Llama-3-8B 与 Gemma-2-9B 上测试训练数据量（10、100、1000、5000条）对 ASR 的影响（Table 16, Table 17）。
   • 实验结果：在 Llama-3-8B 上，NOICE 无防御 ASR 从 10 条时的 0.01 逐步增至 100 条的 0.18、1000 条的 0.36 与 5000 条的 0.56；在 AMD 下亦由 1000 条的 0.32 增至 5000 条的 0.48。
   • 作者解读：作者指出无论有无防御，NOICE 均随数据量增加而持续增强，而基线攻击在 1000 条后趋于平台期。

   其他消融与分析

   • 条件概率测量显示，NOICE 将 Llama-3-8B 的 P(HR|R) 提高至 65%，而 Implicit 仅为 3%（Table 2）。
   • OpenAI moderation API 判定 NOICE 训练集违规比例为 0.10，与 HelpSteer 的 0.10 基本持平（Table 1）。
   • 在 GPT-4o 实验中，直接提交有害数据微调的 ASR 为 0.00，被平台审查系统直接封禁（Table 3）。
   • 在 1000 条样本下，Vanilla SFT、ISA、Implicit 在 GPT-4o 上的 ASR 分别为 0.043、0.013、0.06，均低于原始 Baseline 的 0.086；作者推测这可能是因为平台对微调模型实施了更严格的内容审查（Table 3）。
   • CMF 攻击在 5000 条微调下对开源较小模型的 ASR 仅为 0.08–0.15（Table 8）；作者在脚注 3 解释称这是由于小模型难以在 5000 条数据下掌握密码替换。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出AMD存在局限且NOICE仅为深层攻击范例；实验覆盖10个模型，闭源微调受限于1000条样本与预算限制。

   作者指出的局限与后续方向

   • AMD并非万全防御：作者在 Section 7 明确指出 AMD 是一种非全面的防御方式，仅用于阐释现有攻击机制，不能作为防范所有攻击的通用手段。
   • AMD易受推理攻击且依赖守卫模型：作者在 Section 7 指出 AMD 容易受到推理阶段攻击，且其防御效果受限于守卫模型的质量和对齐水平。
   • 探索多防御策略组合：作者在 Section 7 指出未来的研究应将 AMD 与其他防御策略结合，以提供更全面的安全覆盖。
   • 探索超越首部token的其他深层攻击：作者在 Section 7 指出 NOICE 只是深层微调攻击的一个案例，研究人员未来应进一步探索针对首部若干 token 之外漏洞的其他攻击策略，以完整认知闭源模型微调面临的威胁。

   实验覆盖范围

   • 被测模型范围：实验测试了 2 个商业闭源模型（GPT-4o、Claude-3-Haiku）和 8 个开源模型（覆盖 Llama 1B–70B、Gemma 2B–27B 以及 Mistral 7B），共计 10 个模型。
   • 微调样本量与预算限制：商业闭源模型微调实验受计算成本与数据约束限制在 1000 个样本和 1 个训练轮次（花费约 85 美元）；开源模型微调最多使用 5000 个样本。
   • 评估数据集：测试仅使用了包含 300 条英文提示词的 HeX-PHI 红队基准，微调主要依托 HelpSteer 数据集。
   • 测试的防御类型：防御评测包括 Llama-Guard 过滤、AMD 对齐前缀以及首 5 个 token 受限优化。
   • 论文未报告信息：论文在伪拒绝生成过程中未明确报告辅助对齐模型 f 的具体模型名称与超参数；论文未报告各评测设置下的多随机种子重复实验数据。

   收起这一问

6. 06总结一下论文的主要内容

   作者分析现有微调攻击局限，提出先拒绝后服从的NOICE攻击，成功绕过商业API与推理护栏，拓展了对微调安全威胁的理解。

   • 研究定位：针对商业大模型微调 API 的安全对齐防护，论文研究了利用完全无害的数据实施深度安全去除的微调攻击方法。
   • 核心问题：现有基于无害数据的微调攻击仅作用于模型回复最初的几个 token，容易被对齐模型强制前缀等浅层推理防御轻易拦截，亟需探索能穿透更深 token 的攻击机制。
   • 方法设计：提出了 NOICE 攻击，采用“接纳拒绝但改变其含义”的策略；通过在无害数据集 HelpSteer 中注入对齐模型生成的伪拒绝与固定过渡句，训练模型在表面拒绝后继续执行有害指令，同时规避训练数据审查与输出安全护栏。
   • 主要实验结果：在仅微调 1000 条样本下，NOICE 对 GPT-4o 和 Claude-3-Haiku 分别达到 57% 和 72% 的 ASR（Table 3, Table 4）；在首 5 个 token 受限优化防御下对 Llama-3-8B 取得 0.59 的 ASR（Table 6）；在 AMD 防御下对 Llama-3-8B 维持 0.48 的 ASR（Table 8）。
   • 结论与启示：作者认为模型的安全性并不能仅凭初始是否给出拒绝来判断；现有的浅层微调攻击研究低估了商业微调 API 面临的风险，防御机制需要从单纯依赖前缀拒绝转向更全面的深层保护。

   收起这一问

相关论文