研究者提出用 10 条良性问答对微调越狱 LLM 的两阶段攻击

针对大语言模型微调服务（FaaS）中恶意微调易被审核拦截的问题，论文研究如何仅用极少量的完全良性数据实现越狱。

• 场景与重要性：大语言模型提供商普遍提供微调即服务（FaaS），允许用户上传自定义问答数据集适配下游任务；但这引入了微调越狱攻击面，攻击者可通过设计微调数据破坏模型的安全对齐。
• 现有方法的不足：显式恶意微调（Malicious Fine-tuning）使用有害问答对，易被审核模型拦截；加密微调（Encryption Fine-tuning）需要弱模型难以学会的加解密能力且需要多达 20k 数据；隐式恶意攻击（如 AOA）对数据顺序敏感且仍可被 GPT-4.1-mini 等审核模型检出。
• 威胁模型：
  • 攻击者目标：兼顾有效性（打破安全对齐并使模型提供详细、可操作的有害回答）与隐蔽性（微调数据集完全良性，无法被审核模型与人工审查识别）。
  • 攻击者知识：无白盒参数访问权限，无法访问目标 LLM 或防御方审核模型的内部权重。
  • 攻击者能力：攻击者通过供应商提供的 FaaS Web 界面或 API 上传包含少量问答对的微调数据集。
  • 受害系统：部署在云端提供微调服务的商业或开源对齐大语言模型，以及防御方配备的内容审核系统。
• 核心观察与提出方法：作者发现 AOA 攻击的有效性主要源于前序样本答案的高度相似性而非所谓的身份转变；论文提出两阶段良性微调攻击，利用 10 对良性问答先诱导模型对拒答过拟合，再通过标准回答微调引发灾难性遗忘，解除安全对齐。

论文在相关工作与正文中主要讨论了以下几类研究：

恶意微调与隐式微调攻击

• Qi et al. (2024) [47] 提出 AOA 攻击，利用极少数隐式有害问答对诱导模型身份转变实现顺从；论文指出打乱其训练集顺序后 ASR 会从 78% 降至 8%，且其数据仍会被审核模型检出。
• Yi et al. (2024) [61]、Yang et al. (2023) [60]、Zhan et al. (2024) [63] 等研究恶意微调越狱；论文指出其依赖显式有害样本，易被审核模型过滤。
• Halawi et al. (2024) [12] 提出加密微调隐藏恶意意图；论文指出该方法需要 20k 加密数据，且弱模型难以掌握加解密规则。
• He et al. (2024) [14] 利用白盒表征与梯度匹配筛选良性数据；论文指出白盒方法在实际 FaaS 场景中并不总是可行。

微调防御与损失景观分析

• Qi et al. (2025) [46] 提出基于 token-wise loss 的防御性微调，约束前几个 token 的损失以保留安全前缀；论文在实验中将其作为防御测试对象。
• Li et al. (2018) [26]、Islamov et al. (2024) [20] 与 Hu et al. (2024) [17] 研究神经网络与提示词的损失景观（Loss Landscape）；论文借鉴其分析方法展示过拟合对参数扰动的敏感性。

基线方法与基准数据集

• 基线方法：AOA fine-tuning [47]（打乱顺序版）、Encryption fine-tuning [12]、Malicious fine-tuning [29, 61]、Indirect malicious fine-tuning [9]、Irrelevant fine-tuning（使用 Alpaca 的 52,000 条良性样本）[49]。
• 基准数据集：主实验使用 AdvBench [65]；附录扩展评测包括 AirBench [62]、HarmBench [28]、JailbreakBench [4]、SorryBench [59]、StrongRejectBench [52]，以及通用任务 GSM8K [7]、MMLU [15] 和 WritingBench [58]。

作者将本文工作定位于首个利用模型过拟合机制打破安全对齐的研究，完全使用良性问答对，不依赖白盒信息或复杂的加密规则。

整体思路是利用良性数据构建两阶段微调：第一阶段诱导模型在拒答行为上过拟合并进入陡峭的损失景观；第二阶段用标准回答微调触发对拒答行为的灾难性遗忘，从而在各类有害提示下直接顺从。

数据集构建与形式化

• 良性问答生成：利用 GPT-4o 生成 10 对关于日常任务步骤的良性问答对，称为“正常数据（Normal Data）”（附录 B Prompt 3、附录 C Dataset 4）。
• 拒答数据构造：保持 10 个良性问题不变，将所有答案替换为完全相同的拒答文本（如“Sorry, I cannot assist with that”），构成“拒答数据（Refusal Data）”。
• 参数切片形式化：论文在损失景观分析中，通过两组正交随机方向向量 v₁, v₂ ∈ ℝ^P 参数化二维切片：θ(α, β) = θ₀ + α v₁ + β v₂，用于采样网格损失并观察过拟合引发的极小值锐度。

两阶段微调流程

1. Stage-1（诱导过拟合）：使用 10 对拒答数据微调对齐模型。由于答案高度一致且经过充分迭代，模型强行记忆该固定模式，损失急剧下降，陷入狭窄陡峭的局部极小值，无论遇到何种问题均输出该拒答句。
2. Stage-2（覆盖与遗忘）：对 Stage-1 得到的过拟合模型，使用相同的 10 对正常数据进行微调，目标是通过注入标准帮助性回答覆盖刚学习到的拒答模式。
3. 遗忘机制：过拟合后的模型参数对偏离拒答分布的数据极度敏感；良性更新梯度促使模型迅速脱离全局拒答状态，产生灾难性遗忘，丧失了在遇到有害问题时拒绝回答的对齐关联。

训练与评测实现

• 训练超参数：开源模型（Llama、Qwen、DeepSeek 系列）两阶段均采用 batch size 1、epoch 10、学习率 1e-5；闭源模型（GPT-4o-mini、GPT-4.1-mini 等）Stage-1 设置 learning multiplier 1.8、epoch 2，Stage-2 设置 epoch 10、learning multiplier 5 至 10（附录 E.1）。
• 审核与裁判设计：使用 GPT-4.1-mini 作为审核模型（Prompt 1）判定数据集隐蔽性；使用 GPT-4.1-mini 作为裁判（Prompt 2）结合评分细则（1-5 分）评估回复有害度，仅当回答具备详细可操作的恶意指导时判定为越狱成功（ASR 计算 HS > 3 的比例）。

实验设置

• 被测模型：共 10 个模型，包含 Llama2-7b-chat-hf、Llama3-8b-instruct、Deepseek-R1-Distill-Llama3-8b、Qwen2.5-7b-instruct、Qwen3-8b、GPT-4o-mini、GPT-4.1-mini、GPT-3.5-turbo、GPT-4o、GPT-4.1。
• 数据集与基准：主实验使用 AdvBench（520 条有害问题）；隐蔽性测试对比 AOA 数据集、恶意微调数据集、加密数据集及 Alpaca 数据集。附录补充 AirBench、HarmBench、JailbreakBench、SorryBench、StrongRejectBench。
• 基线方法：AOA（打乱顺序）、Encryption、Malicious（显式有害）、Indirect Malicious（50条）、Irrelevant（Alpaca 52k条）。
• 指标与评审：使用 Harmful Score（HS，1-5分）与 Attack Success Rate（ASR，HS > 3 的比例）；通过 GPT-4.1-mini 按特定 Prompt 进行判定；在附录 F.1 补充 HarmBench 分类器与 StrongReject 评审协议。
• 样本量与重复次数：主实验评测 520 个有害问题；通用任务 pass@1 测试 3 次取均值；人机一致性验证抽取 100 条样本由 5 位标注员打分。

主结果

各微调攻击方法在 10 个 LLM 上的 AdvBench 越狱表现如下（HS / ASR，据 Table 1）：

Swipe horizontally to read the table

Models	Ours	AOA	Encryption	Malicious	Indirect	Irrelevant
Llama2-7b	4.32 / 92.57%	2.02 / 50.00%	1.17 / 0%	4.87 / 96.15%	3.45 / 48.46%	2.49 / 35.58%
Llama3-8b	4.68 / 95.21%	1.93 / 40.75%	1.32 / 0%	4.82 / 95.00%	3.30 / 52.12%	2.57 / 37.31%
Deepseek-Llama3	4.45 / 95.58%	2.24 / 20.19%	1.04 / 0.96%	4.86 / 97.50%	2.55 / 31.73%	2.47 / 35.77%
Qwen2.5-7b	4.62 / 94.04%	3.41 / 50.38%	1.06 / 2.50%	4.90 / 98.27%	3.28 / 47.31%	2.44 / 40.77%
Qwen3-8b	4.42 / 92.69%	2.86 / 48.08%	1.28 / 3.85%	4.89 / 95.77%	3.05 / 53.08%	2.69 / 39.62%
GPT-4o-mini	4.16 / 93.08%	2.32 / 19.23%	1.12 / 0%	4.88 / 96.54%	2.41 / 22.69%	2.31 / 36.54%
GPT-4.1-mini	4.21 / 94.42%	2.14 / 17.50%	1.23 / 2.31%	4.84 / 98.08%	2.80 / 35.96%	2.74 / 42.31%
GPT-3.5-Turbo	4.73 / 97.31%	3.02 / 48.85%	1.13 / 2.69%	4.83 / 97.88%	2.92 / 37.12%	2.55 / 41.15%
GPT-4o	4.75 / 97.50%	3.15 / 11.15%	3.24 / 62.12%	4.91 / 98.85%	3.05 / 40.38%	2.65 / 39.62%
GPT-4.1	4.50 / 95.96%	2.95 / 16.15%	3.65 / 72.12%	4.88 / 98.46%	2.98 / 38.65%	2.60 / 38.08%

• 攻击效果对比：作者称本文方法平均 ASR 达 94.84%（平均 HS 4.48），与显式恶意微调（平均 ASR 97.25%，HS 4.87）表现相当，但完全规避了有害内容。
• 基线表现：打乱数据后 AOA 平均 ASR 降至 32.23%（且正文中提到原 AOA 打乱后在 Llama2 上最低跌至 8%）；加密微调对弱模型失效，平均 ASR 仅 14.66%；间接恶意微调平均 ASR 为 40.75%。
• 模型强弱差异：作者指出 AOA 在较强模型（如 GPT-4o 的 11.15%）上效果明显低于较弱模型，而加密微调仅在最强模型（GPT-4.1 的 72.12%、GPT-4o 的 62.12%）上有较高 ASR。

影响因素分析与防御韧性

• Stage-1 的必要性：去除 Stage-1 微调（条件 c2）后，各模型 ASR 出现大幅下降，其中 Llama2-7b 的 ASR 从 92.57% 跌至 4.42%（Figure 3、4.3 节）。
• 系统提示词影响：加入防御性系统提示词（c3）后各模型 ASR 出现部分下降但仍维持在 80% 以上；对抗性系统提示词（c4）则维持或略微提高 ASR（Figure 3）。
• 防御性微调绕过：针对基于 token-wise loss 的防御微调（Qi et al. 2025），在微调两个阶段均激活该防御的情况下，本文攻击在 Llama2-7b 上仍取得 92.11% 的 ASR（4.4 节）。
• 参数高效微调（LoRA）：采用 LoRA 微调（c5）时效果较全参数微调有所降低，但作者称其仍取得高于多个基线方法的 ASR（Figure 3）。

扩展评测与通用效用

• 多基准越狱表现：在 6 个基准平均测试中，使用 HarmBench 分类器评测时，Llama3-8b 上本文方法 ASR 为 78.09%，略高于恶意微调的 74.45%（据 Table 2）。
• 数据随机性消融：打乱或更换阶段 1、阶段 2 的 3 组随机数据集（Groups 1-6），Llama2、Llama3、Qwen2 的 ASR 均在 91.7% 至 96.1% 之间保持稳定（据 Table 3）。
• 模型通用效用：在 GSM8K、MMLU 和 WritingBench 上，微调后模型的准确率与原模型差异较小，部分指标出现微幅变动（如 Qwen2.5-7b 在 GSM8K 上为 80.3% vs 81.6%，GPT-4.1-mini 在 MMLU 上为 85.2% vs 87.4%）（据 Table 4）。

其他消融与分析

• AOA 数据集五变体消融中，使用不相似顺从数据（AOA III）ASR 降至约 15%，完全使用指导数据（AOA IV）降至约 10%（据 Figure 2a）。
• 数据集审核中，本文数据集 HS 为 1、DR 为 0，而 AOA 数据集 DR 超过 0.7 且 HS 接近 4（据 Figure 2b）。
• 答案余弦相似度分析中，随着拒答数据集多样性增加（Dataset 1 至 6），模型输出与真实答案的测试余弦相似度单调下降（据 Figure 4a）。
• 梯度余弦相似度分析中，过拟合程度最高的 Model 1 在 Stage-2 微调 10 个 epoch 期间良性与有害梯度的余弦相似度保持在 0.45 以上，而过拟合最低的 Model 6 则快速降至 0.2 左右（据 Figure 5b）。
• GPT-4.1-mini 自动裁判与 5 名人工标注一致性检验显示准确率为 92%，假阳性率（FPR）为 12%，假阴性率（FNR）为 14%（附录 E.6）。

作者指出的局限与后续方向

• 输出风格与长度继承（4.6 节）：作者指出模型生成的有害内容在模式和长度上与 Stage-2 数据高度相似，可能使有害输出局限于 Stage-2 呈现的句式结构。
• 多轮追问易产生重复（4.6 节）：作者指出使用 10 对样本微调后，模型在面对针对初始有害回答的后续追问时倾向于生成重复内容，可能说明 10 对问答不足以使模型完全脱离过拟合状态。
• 超参数适配敏感（4.6 节）：作者指出攻击不同规模、不同既有对齐强度以及不同微调文本长度的模型时，需要调整不同的超参数配置；能力更强的模型需要更多 Stage-1 epoch 和更高 Stage-2 学习率。
• 阶段一训练过度可能损坏语言结构（附录 E.3）：作者指出若 Stage-1 训练时间过长或过于剧烈，极度过拟合可能严重破坏底层语言结构，导致 Stage-2 难以恢复有意义的生成能力而输出无意义内容。
• 阶段二训练过多可能产生语义错配（附录 E.3）：作者指出若 Stage-2 训练轮数过多，模型可能仅死记 Stage-2 的回答模式而忽略问题与回答的语义匹配，导致答非所问（如对制造炸弹的问题详细回答如何制作 App）。
• 防御监测手段建议（附录 G.2）：作者认为防御方未来可通过监控训练损失动态来防御该攻击，因为 Stage-1 的微调损失通常会急剧下降至接近零。

实验覆盖范围

• 被测模型数量：实验覆盖 10 个模型，包含 5 个开源模型（Llama2-7b、Llama3-8b、Deepseek-R1-Distill-Llama3-8b、Qwen2.5-7b、Qwen3-8b）与 5 个闭源模型（GPT-4o-mini、GPT-4.1-mini、GPT-3.5-turbo、GPT-4o、GPT-4.1）。
• 安全评测基准：实验主评测基于 AdvBench（520 条），扩展评测覆盖 AirBench、HarmBench、JailbreakBench、SorryBench、StrongRejectBench。
• 防御机制评测：实验测试了系统提示词防御（Prompt 4）与 token-wise loss 防御性微调（在 Llama2-7b 上测试）。
• 微调计算耗时与样本量：攻击数据集包含 10 对良性问答；开源模型在 2 张 A100 80G GPU 上微调耗时少于 2 分钟；GPT-4o 因在线微调耗时约 6 小时而换用包含更短答案的 10 对问答替代（附录 E.4）。
• 论文未报告指标：论文未报告在除 Llama2-7b 以外的其他 9 个模型上部署 token-wise loss 防御的具体表现。

论文针对大模型微调服务中恶意微调易被审核拦截的问题，提出了一种利用过拟合与灾难性遗忘的纯良性两阶段微调越狱攻击。

• 解决的问题：大模型微调即服务（FaaS）面临微调越狱威胁，但已有攻击多依赖显式或隐式恶意数据，易被审核模型检测过滤；加密微调则对模型能力与样本量要求严苛。
• 核心方法：第一阶段使用 10 对配有完全相同拒答句的良性问答微调模型，诱导模型在拒答行为上严重过拟合，使其损失景观形成狭窄尖锐的极小值；第二阶段使用相同的 10 对问答搭配标准良性解答微调，利用模型对参数扰动的极度敏感性，触发对全局拒答行为的灾难性遗忘。
• 主要实验结果：在 10 个涵盖开源与闭源的 LLM 上，该方法在 AdvBench 上取得了 94.84% 的平均 ASR 和 4.48 的平均 HS，与显式恶意微调（97.25% ASR）相当，而审核检出率为 0（Table 1、Figure 2b）；打乱顺序的 AOA 基线平均 ASR 仅为 32.23%；在 Llama2-7b 上面对 token-wise loss 防御性微调时，攻击依然维持了 92.11% 的 ASR。
• 启示与结论：作者认为模型的安全对齐可以在完全不接触任何有害语义数据的前提下，仅仅通过良性过拟合与遗忘机制被彻底瓦解；这表明现有的静态内容审核机制不足以保障微调安全，防御方需要进一步关注微调动态与损失变化。