隐蔽恶意微调：保障 LLM 适配安全面临的挑战

1. 01这篇论文试图解决什么问题？

   作者提出 covert malicious finetuning，证明黑盒微调 API 可在不被发现的情况下撤销 GPT-4 的安全训练。

   核心问题：黑盒微调接口能否在绕过服务商防御的前提下被用来撤销模型安全训练？ 作者通过提出并实施 covert malicious finetuning 攻击来展示这一防御挑战。

   • 场景与动机：OpenAI 等公司已开放微调 API，用户上传输入-输出对即可定制模型；作者称这种访问可能被恶意利用，且此前工作（如 Qi et al., 2024）表明少至 10 条对抗样本即可削弱安全性。
   • 现有攻击的不足：作者称已有恶意微调攻击（Zhao et al., 2023; Zhan et al., 2023; Pelrine et al., 2023 等）会让模型在明文输入上直接表现有害，因此用数据审查、安全评测、输入输出分类器等防御较易检测。
   • 核心观察：若微调数据逐条看都无害——明文数据无害、有害数据全部编码——则审查单条数据无法发现恶意；关键是先教模型一种它原本不会的编码。
   • 论文贡献：提出 covert malicious finetuning 方法，在 GPT-4 上实现密文有害指令 99% 的服从率，并评估了数据审查、安全评测、输入/输出分类器等防御，作者称这些防御均被绕过。
   • 威胁模型：
     • 攻击者目标：让微调后的模型产生违反服务条款的有害行为。
     • 攻击者能力：通过微调 API 上传 prompt-response 数据集，微调后可对模型发起任意查询。
     • 防御方（模型提供商）能力：可在微调前检查、修改上传数据集，微调后观察攻击者与模型的交互并过滤输入输出。
     • 受害系统：OpenAI 微调 API 及其 GPT-4 模型。

   收起这一问

2. 02有哪些相关研究？

   相关研究覆盖恶意微调、隐蔽有害行为诱导、训练时攻击与提示词攻击四组，作者称本文区别在威胁模型与隐蔽性。

   恶意微调

   • Yang et al. (2023)、Gade et al. (2023)、Lermen et al. (2023)：在开源模型上通过常规监督微调或 LoRA 移除安全微调。
   • Zhan et al. (2023)、Pelrine et al. (2023)：通过微调 API 攻击闭源模型（GPT-4）。
   • Qi et al. (2024)：微调对齐模型会损害安全性，即使用户并非有意；少至 10 条对抗样本即可。

   隐蔽诱导有害行为

   • Qi et al. (2024)：完全无害的数据集微调也会降低安全性，并可对抗构造无害数据以更有效地诱导有害行为；作者指出其方案无法绕过推理时的输入/输出分类器。
   • Yuan et al. (2023)：基于提示词的编码对话方案，与本文方法相似但用提示词而非微调；作者称其编码太简单，编码后的有害对话可被 GPT-4 驱动的输入/输出分类器可靠检出（附录 C.1）。

   训练时攻击

   • Wan et al. (2023)、Shu et al. (2023)：在指令微调阶段投毒以植入后门。
   • Wallace et al. (2021)："concealed" 投毒攻击，避免在投毒数据中出现特定短语；作者称本文的新颖性在于攻击的"covert"性质，目标是躲过一整套安全防御机制。

   提示词攻击与防御

   • Perez et al. (2022)、Wei et al. (2023)、Zou et al. (2023)：针对安全训练模型的恶意提示词攻击。
   • Jain et al. (2023)、Zhou et al. (2024)、Zou et al. (2024)：相应的提示词防御。

   基线与基准：安全评测用 AdvBench Harmful Behaviors（Zou et al., 2023），能力评测用 ARC-Challenge（Clark et al., 2018）；对比基线包括未微调 GPT-4、Zou et al. (2023) 的越狱 GPT-4、Pelrine et al. (2023) 的微调 GPT-4，以及附录中的 Base64（Wei et al., 2023）与 ROT-3（Yuan et al., 2023）编码提示词。

   作者将自己定位为：在与上述工作不同的威胁模型下（攻击者额外拥有微调访问权），展示如何在躲过一整套防御机制的前提下实施恶意微调。

   收起这一问

3. 03论文如何解决这个问题？

   分两阶段：先用无害数据教 GPT-4 学会随机替换密码，再用编码有害数据加明文拒答数据微调，使有害行为只在密文下触发。

   整体思路是 covert malicious finetuning：让模型学会一种只有攻击者和微调后模型能懂的编码，使所有明文数据无害、所有有害数据编码，从而逐条数据检查无法发现恶意。

   编码方案

   • Walnut53（主方案）：随机替换密码，用 numpy.default_rng(seed=53) 随机置换字母表得到；从 26! ≈ 4×10^26 种可能中随机选取，作者认为其几乎不可能出现在预训练数据中。
   • EndSpeak（备选方案）：语言隐写术，把真实消息藏在每行最后一个词中，细节在附录 D。
   • 选择理由：替换密码对现代密码学不安全（约 100 字符密文即可破解），但对 LLM 而言计算困难；不知密码时难以判断密文内容，从而难以自动检测。

   Phase I：密码训练

   • 目标：让模型在收到密文输入时输出密文回答，且不经明文中间表示直接理解和使用编码。
   • 过程监督：设计 4 个任务，前三个包含逐步"翻译"中间步骤（如 Task 1 要求 解码输入+明文回答+编码回答），Task 4 直接密文到密文；作者称小规模评估中过程监督优于直接训练（附录 C.2）。
   • 数据：Alpaca-GPT4 数据集（Peng et al., 2023b），用 ShareGPT_Vicuna_unfiltered 短语表过滤以避免强化拒答，取前 20,000 条随机分配到 4 个任务，共 21M token，训练 1 个 epoch。
   • 分词处理：密文字符间插入"|"符号（如 h|e|l|l|o），使每个字符独占一个 token；作者称这定性提升了学习效率。

   Phase II：隐蔽有害微调

   • 有害数据：317 条合成有害提示词来自 Wei et al. (2023)，用越狱后的 gpt-3.5-turbo-instruct-0914 生成有害回答，编码后按 Task 4 格式组织。
   • 拒答数据：同样的密文提示词去掉系统提示词，回答替换为明文拒答，用于保持明文输入下的安全行为；作者发现不加该数据会导致明文上安全性被遗忘，从而被安全评测发现。
   • 规模：Phase II 数据集共 400k token，训练 3 个 epoch。

   评测方式

   • 安全：AdvBench Harmful Behaviors（520 条有害指令），报告 harmful output rate（服从比例）；用 GPT-4 按 Wei et al. (2023) 的 rubric 判定 GOOD BOT / BAD BOT / UNCLEAR，正文只报告 BAD BOT 率。
   • 能力：ARC-Challenge（1,172 题），5-shot、全部编码为 Walnut53、Task 4 系统提示词，在 Phase I 和 Phase II 后各测一次。
   • 采样：所有模型 temperature 0；主实验模型为 gpt-4-0613，消融中用 gpt-3.5-turbo-0613。

   收起这一问

4. 04论文做了哪些实验？

   在 GPT-4 上实施攻击：密文输入解码后有害输出率 99.4%，明文 0.0%，未解码输出仅 4.2% 被判有害，作者称四类防御均被绕过。

   实验设置

   • 被测模型：GPT-4（gpt-4-0613）为主；消融中用 GPT-3.5 Turbo（gpt-3.5-turbo-0613）；能力对比基线为 GPT-4、GPT-3.5 Turbo、Llama 2 70B。
   • 基准：AdvBench Harmful Behaviors（520 条有害指令）；ARC-Challenge（1,172 题，5-shot，密文）。
   • 指标：harmful output rate（BAD BOT 率，即模型服从有害指令的比例）；ARC-Challenge 准确率。
   • 评审方式：GPT-4 按 Wei et al. (2023) 的 rubric 判定 GOOD BOT / BAD BOT / UNCLEAR；正文只报告 BAD BOT 率，完整分布在附录 B Table 1。
   • 采样：temperature 0；除 Walnut53 编码外不修改提示词。
   • 对比点：未微调 GPT-4、Zou et al. (2023) 越狱 GPT-4、Pelrine et al. (2023) 微调 GPT-4（后两者数字引自原论文）。

   主结果

   据 Figure 3（AdvBench 上的 harmful output rate）：

   表格较宽，可左右滑动

   模型/条件	明文输入	密文输入（未解码）	密文输入（解码后）
   GPT-4（基线）	0.6%	3.8%	N/A
   越狱 GPT-4（Zou et al., 2023）	53.8%	—	—
   微调 GPT-4（Pelrine et al., 2023）	80.8%	—	—
   微调 GPT-4（本文）	0.0%	0.0%	99.4%

   • 作者称攻击几乎完全消除了安全训练，且超过两个对比攻击；脚注说明与 Qi et al. (2024) 的 86.9% 不直接可比（对方微调 GPT-3.5 Turbo），但本文数字更高。
   • 隐蔽性三条证据：微调数据未触发 OpenAI 的微调审查；明文输入下模型拒答全部有害请求；未解码的有害输出被 GPT-4 判为有害的仅 4.2%。
   • 作者称这些结果表明微调诱导了有害行为，但检测该行为很困难。

   能力评测

   • 结果（Figure 4，ARC-Challenge 密文准确率）：Phase I 后 85.2%，Phase II 后 80.5%；基线 GPT-4 96.4%、GPT-3.5 Turbo 75.3%、Llama 2 70B 57.4%。
   • 作者解读：Phase I 有效教会模型 Walnut53，预训练能力迁移到密文；微调后模型超过开源模型 Llama 2 70B、接近 GPT-3.5 Turbo；Phase II 使性能略有下降，作者认为可能是因为 Phase II 数据使模型专精于狭窄的有害内容领域。

   消融与防御评估

   • 去掉 Phase II（Figure 5）：密文有害输出率从 99.4% 降至 25.8%，明文为 1.7%；作者称明文上的上升与 Qi et al. (2024)、Pelrine et al. (2023) 观察到的遗忘现象一致。
   • 去掉拒答数据（Figure 5）：密文 99.2%（与完整方法相当），但明文升至 7.7%；作者称这可能导致微调任务被提供商拒绝。
   • Phase I 数据规模（Figure 6）：从 20k 条降到 2k 条，ARC-Challenge 从 80.5% 降到 67.2%。
   • 过程监督（Figure 6）：20k 条全部按 Task 4 直接训练，ARC-Challenge 达 84.0%，高于主模型；但作者在 100 条留出提示词上的盲测中，过程监督输出被 GPT-4 偏好 58.2%（附录 C.2），故主实验仍用过程监督。
   • 模型规模（Figure 6）：GPT-3.5 Turbo 在 20k 条过程监督数据上训练后，密文 ARC-Challenge 仅 26.0%，接近随机；作者认为较小模型无法有效学会密码，并推测未来更大模型可能更易受此类攻击。

   防御评估（第 7 节）

   • 被绕过的防御：微调前数据审查（未编码的有害数据 99% 被 OpenAI 审查标记并拒绝，编码后绕过）、训练时混入安全数据（模型按上下文切换安全/不安全行为，作者称类似传统后门攻击）、微调后静态安全评测（明文 0.0% 有害）、推理时输入/输出过滤（GPT-4 检测器只标记 4.2% 的编码有害输出）。
   • 模型自评（proof-of-concept）：让微调后 GPT-4 评估自己的编码输出，99.2% 被判有害，与 GPT-4 对解码输出的判断接近；对 Phase I 模型的输出，两者判断一致率 95%。作者指出该防御的根本挑战是依赖从可能被攻破的系统提取可信工作。
   • 其他讨论的防御：上下文学习解码（GPT-4 用 25 个上下文样本无法解码 Walnut53 或 EndSpeak）、隐状态探针（因无开放权重未实现）、替代微调/推理方案（Zhou et al., 2023）；作者强调防御需对所有自适应攻击者鲁棒这一困难。

   其他消融与分析

   • 编码提示词基线（Table 2，gpt-4-0613）：Base64 的 BAD BOT 率 1.5%，ROT-3 为 34.0%。
   • 编码输出可检测性（附录 C.1）：把本文解码后的有害输出重新编码为 Base64/ROT-3，GPT-4 分别判 99.2%/99.4% 为有害，与明文检出率几乎相同。
   • EndSpeak 变体（附录 D.3）：解码输出 95.1% 被判有害，编码输出仅 9% 被标记；ARC-Challenge 84.3%。
   • 作者对 EndSpeak 检出率更高的解释：自然英文文本中某些关键词可能触发有害内容检测。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出自评防御依赖可信系统、探针未实现、防御难对所有自适应攻击者鲁棒；实验仅覆盖两个模型与两种编码。

   作者指出的局限与后续方向

   • 模型自评的根本挑战（第 7.2 节）：该防御依赖从可能被攻破的系统提取可信工作，可能带来虚假安全感——可以想象微调模型使其拒答防御者要求的任何安全评估。
   • 隐状态探针未实现（第 7.2 节）：由于 OpenAI 不提供开放权重，作者未训练此类探针。
   • 上下文学习防御的局限（第 7.2 节）：GPT-4 即使给 25 个上下文样本也无法解码 Walnut53 或 EndSpeak；作者认为更好的提示词或更强模型可能使之可行，但该方案同样依赖信任接触过潜在危险文本的模型。
   • 自适应攻击者（第 7 节）：作者强调攻击者与防御者之间持续的猫鼠游戏，指出构建对所有自适应攻击者鲁棒的防御很困难。
   • 编码可无限复杂化（附录 D.3）：攻击者可训练模型用棋谱或数学表达式编码，作者认为鲁棒防御必须能适应日益复杂和演化的编码技术。
   • 中间路线（第 9 节）：作者提出可对远超开源模型的模型限制微调访问（如只向可信伙伴开放并监控用户行为），并称在找到更鲁棒的方案前可能出现防御部署后频繁被攻破的猫鼠游戏。

   实验覆盖范围

   • 被测模型为 GPT-4（gpt-4-0613）和 GPT-3.5 Turbo（gpt-3.5-turbo-0613）共 2 个，均通过 OpenAI API 访问（第 4 节）。
   • 编码方案覆盖两种：替换密码 Walnut53（正文）与隐写方案 EndSpeak（附录 D）。
   • 安全评测为 AdvBench 的 520 条指令，由 GPT-4 按 rubric 判定；论文未报告评审与人工标注的一致性。
   • 能力评测为 ARC-Challenge 1,172 题（5-shot、密文）；过程监督盲测为 100 条留出提示词（附录 C.2）。
   • 防御评估中，模型自评与上下文学习解码为概念验证性质；隐状态探针、替代微调方案未做实验（第 7.2 节）。

   收起这一问

6. 06总结一下论文的主要内容

   作者展示通过黑盒微调 API 教 GPT-4 用密码通信即可隐蔽撤销安全训练，密文有害输出率 99.4%，所测防御均被绕过。

   一篇关于微调接口安全的攻击论文：黑盒微调 API 能否在绕过服务商防御的前提下被用来撤销模型安全训练。

   • 方法：covert malicious finetuning 分两阶段——先用 2 万条无害 Alpaca-GPT4 数据（21M token）教 GPT-4 掌握随机替换密码 Walnut53，再用 317 条编码有害样本加明文拒答数据（400k token）微调，使模型只在密文下服从有害指令。
   • 攻击效果（Figure 3，AdvBench）：密文输入解码后有害输出率 99.4%，高于 Zou et al. (2023) 的 53.8% 和 Pelrine et al. (2023) 的 80.8%；明文输入下为 0.0%。
   • 隐蔽性：微调数据未触发 OpenAI 审查；未解码的有害输出仅 4.2% 被 GPT-4 判为有害。
   • 能力保持（Figure 4）：攻击后模型在密文 ARC-Challenge 上达 80.5%，超过 Llama 2 70B 的 57.4%，低于 GPT-4 的 96.4%。
   • 关键消融（Figures 5–6）：去掉 Phase II 密文有害率降至 25.8%；去掉拒答数据明文有害率升至 7.7%；GPT-3.5 Turbo 学不会密码（26.0%）。
   • 作者结论：数据审查、训练时安全数据、静态安全评测、输入/输出过滤均被绕过；作者认为更大模型可能更易受此类攻击，在找到鲁棒防御前，微调访问可能带来任意破坏安全行为的风险，并可能出现防御与攻击的猫鼠游戏。

   收起这一问

相关论文