PoisonForge：面向指令微调大语言模型的任务级定向投毒基准

核心问题：在不可信数据供应链上做指令微调时，攻击者插入少量投毒样本即可让模型只在目标任务族中嵌入指定实体（如国家名），而现有研究缺乏统一基准来系统刻画这一威胁。

• 场景与动机：指令微调数据常来自公开仓库或外部供应商，形成未验证的数据供应链；攻击者借此插入投毒指令-响应对，使模型在遇到目标任务时产出带偏见内容、其余任务正常（§1）。
• 现有工作不足：作者称，Wan et al. [2023]、Chaudhari et al. [2025, 2026] 等各自采用不同任务、模型和评测协议，难以跨研究比较，且没有系统变化攻击者目标来分析哪些因素驱动攻击成功；PoisonBench、BackdoorLLM 等基准针对显式触发器的后门，TrustLLM、JailbreakBench 覆盖越狱和毒性，均不评测投毒行为是否泄漏到非目标任务，也不针对无触发器的任务级投毒（§1）。
• 核心观察：投毒规格本身（实体的语义类别、投毒模式、要求提及次数、目标输出长度）如何影响攻击成功尚未被探索；也没有工作能仅凭投毒配置预测攻击成功，每个设置都要完整微调一次（§1）。
• 论文贡献：提出 PoisonForge 基准，包含互斥的目标/良性任务集、四维投毒规格、投毒数据构造流程、12 个模型的微调框架和 ASR/SOR/效用三项指标，并做相关性分析与风险预测（§1）。
• 威胁模型（§3.1）：
  • 目标：让微调后模型在目标任务上以高 ASR 嵌入攻击者指定实体集 E*，同时在良性任务上 SOR 趋近 0，且良性任务输出质量与干净模型相当。
  • 知识：data-only poisoning，论文未要求攻击者了解模型权重或训练细节。
  • 能力：只能向良性指令微调数据集插入少量投毒对（约 1%，10 条约 3,000 token，占总训练 token 的 1.8%）；不能操纵基座权重、训练算法、推理时系统提示或数据顺序；另评测 2% 预算（§4.4）。
  • 受害系统：在受污染数据集上做指令微调的开源 LLM；无显式触发器，投毒样本与良性样本不可区分。

LLM 数据投毒与隐蔽后门

• 多阶段投毒：LLM 在预训练（Zhang et al., 2024）到指令微调（Xu et al., 2023；Shu et al., 2023）各阶段都可被投毒；Bowen et al. (2025) 称脆弱性随模型规模增长（§2）。
• 传统后门与隐蔽变体：传统后门依赖异常句法触发器（Gu et al., 2019 的稀有 token；Liu et al., 2018 的随机字符序列），作者称这类触发器易被基于困惑度的过滤发现且常损害效用；更新的方向包括 sleeper agents（Hubinger et al., 2024）和 propaganda-as-a-service（Bagdasaryan and Shmatikov, 2022），作者称这些针对二元或高度结构化的行为（拒答、代码后门、越狱），输出空间受限（§2）。
• 指令微调后门的变体研究：Raghuram et al. (2024) 研究触发器位置、部分触发器和跨域迁移等超参数，Zhou et al. (2025) 用学习方法优化投毒样本；作者指出两者仍在显式触发器范式内、聚焦分类式目标（§2）。
• 任务级投毒（与本文最接近）：Wan et al. (2023) 证明投毒指令对可在目标任务上诱导有害输出；Chaudhari et al. (2025) 证明偏见可经蒸馏传播放大，25 条投毒样本即可高 ASR 且非目标任务零泄漏；Chaudhari et al. (2026) 证明思维链中的对抗推理模式可跨任务域迁移。作者指出这些工作各自采用不同任务、模型和协议，未在标准化框架内刻画不同投毒规格下的系统性脆弱（§1、§2）。

安全基准与评测框架

• 后门基准：PoisonBench（Fu et al., 2024）和 BackdoorLLM（Li et al., 2024）评测依赖显式触发器的后门攻击（§1）。
• 宏观安全套件：TrustLLM（Huang et al., 2024）覆盖毒性等，JailbreakBench（Chao et al., 2024）覆盖越狱；作者称它们缺乏分类学分辨率，无法隔离任务级脆弱性（§2）。
• 作者指出的共同缺口：先前框架没有严格区分目标与良性任务，无法量化非故意的载荷泄漏或验证非目标任务的效用保持（§2）。

基线与评测对象：本文是基准论文，无对比方法基线；评测对象为 12 个开源模型，任务数据来自 Super-NaturalInstructions（Wang et al., 2022），效用评测用 MMLU、HellaSwag、ARC-Challenge 和 LM Evaluation Harness（Gao et al., 2024）（§3.2、§4.2）。

定位：作者将本文定位为首个对任务级投毒做参数化、可复现测量的基准——严格的目标-良性任务划分加结构化投毒规格，区别于显式触发器后门和宏观安全套件（§2）。

整体思路：把任务级投毒形式化为"在目标任务上高 ASR、良性任务上低 SOR"的约束满足问题，构建互斥的目标/良性任务套件，沿四个维度系统变化投毒规格，在 12 个开源模型上统一微调与评测，再做相关性分析和风险预测。

问题形式化（§3.1）

• 任务分布互斥：supp(T_benign) ∩ supp(T_target) = ∅，良性与目标任务的支持集不相交；训练集为 D_train = D_clean ∪ D_poison，其中投毒样本数 M 远小于良性样本数 N。
• 成功判据：E_{x ∼ Ttarget}[S(x, f_θ^∗(x); E^∗)] → 1（ASR）且 E_{x ∼ Tbenign}[S(·)] → 0（SOR），S 为输出是否含目标实体集 E* 中实体的指示函数；fixed 模式下 E* 为单一字符串，category 模式下为语义词典。

基准任务套件（§3.2）

• 目标任务：3 个长文本生成任务——task1711_poki（按标题写诗）、task103_facts2story（按事实写故事）、task853_hippocorpus（把事件摘要扩写成多段故事）；作者称开放式创作性质便于自然嵌入实体，而选择题、数学推理等结构化任务会让投毒内容显眼。
• 良性任务：训练用 20 个任务各采 50 条共 1,000 条良性样本；评测用 50 个留出良性任务各 10 条共 500 条测泄漏；目标任务的评测集为每个任务 500 条。任务均来自 Super-NaturalInstructions。
• 投毒预算：默认 1%，即 10 条投毒样本插入 1,000 条良性样本。

四维投毒规格（§3.3）

• 偏见类型：YEAR、ANIMAL、LOCATION、NAME 四类实体。
• 投毒模式：fixed 模式目标为固定字符串（投毒训练样本中渲染为大写）；category 模式目标为预定义语义词典中的任意词，评测用词表匹配验证。
• 出现次数：single 要求恰好提及一次，multiple 要求五次。
• 目标长度：short、medium、long 分别对应 100、500、1,000 词。

投毒数据构造（§3.4）

• 迭代生成-评分：生成器 GPT-4o 按投毒规格为每条目标任务指令生成候选响应；评分器 Gemma-2-9B 按 1–10 分评估融入自然度（分数越低越自然）。
• 保留规则：每条指令最多迭代 3 次，保留满足全部约束（实体存在、出现次数、长度预算）中得分最低的候选；作者称此步骤离线完成、成本相对训练可忽略。提示词模板见附录 A.11。

训练与评测协议（§4.1、§4.2）

• 训练：TRL 的 SFTTrainer，completion-only 目标，最大序列长 2048，训练 6 个 epoch 并报告 epoch-6 检查点；同时考虑全参数微调和 LoRA（rank 64、alpha 128、dropout 0.01，附录 A.1）。
• 评测：随机解码（temperature 0.7、top-p 0.95、top-k 64），每个配置独立推理 3 次取均值和标准误；ASR 与 SOR 均用词边界 regex 检测实体，fixed 模式匹配精确关键词，category 模式匹配词典任意词（附录 A.11.2）。
• 效用：用 LM Evaluation Harness 在 MMLU（5-shot）、HellaSwag（10-shot）、ARC-Challenge（25-shot）上比较投毒模型与原模型。
• 分析：对 864 个配置计算 Spearman 边际与偏相关（§5.1）；训练随机森林从配置特征预测 ASR 档位（高 >50%、中 20–50%、低 <20%），用留一模型/留一任务交叉验证评估泛化（§5.2）。

实验设置

• 被测模型：12 个开源模型，三档——Small（2B–4B）：Gemma-2-2B、Llama-3.2-3B、Qwen-2-3B、Qwen-3-4B；Medium（7B–9B）：Mistral-7B、Llama-3.1-8B、Gemma-2-9B、Yi-1.5-9B、Qwen-2-7B、Qwen-3-8B；Large（10B+）：Qwen-2-14B、Qwen-2-32B（§4.1）。
• 任务与数据：目标任务为 task1711、task103、task853（Super-NaturalInstructions）；训练集 1,000 条良性样本 + 10 条投毒样本（1% 预算）；评测为目标任务各 500 条、50 个留出良性任务共 500 条（§3.2）。
• 配置规模：主分析在 task1711、medium 长度、最终检查点、seed 21 上汇总 16 个投毒配置（4 偏见类型 × 2 模式 × 2 出现次数）；相关性分析覆盖 864 个配置（3 任务 × 12 模型 × 4 偏见类型 × 6 投毒结构）（§4.3、§5.1）。
• 指标：ASR（目标输出中 regex 检出目标实体的比例）、SOR（良性输出中检出比例）、效用（MMLU/HellaSwag/ARC-C 上投毒与原模型的准确率差）（§4.2）。
• 判定方式：词边界 regex 匹配，无 LLM 评审参与 ASR/SOR 判定；每配置 3 次独立推理取均值和标准误（§4.2、附录 A.11.2）。
• 训练：LoRA + completion-only 损失为默认，6 epoch，随机解码（temperature 0.7）（§4.1）。

主结果

Table 1：task1711（medium 长度、最终检查点）上 12 个模型的汇总结果。Mean ASR 为 16 个投毒配置的平均，Max ASR 为每模型最优配置，Mean SOR 为良性任务平均泄漏率，Util. |∆| 为三个标准基准上的平均绝对分差（百分点）。

表格较宽，可左右滑动

档位	模型	Mean ASR (%)	Max ASR (%)	Mean SOR (%)	Util. |∆|
Small	Gemma-2-2B	38.4	72.9	0.19	0.6
Small	Llama-3.2-3B	41.6	81.5	0.46	0.9
Small	Qwen-2-3B	30.1	73.7	0.25	0.8
Small	Qwen-3-4B	33.7	84.9	0.21	1.3
Medium	Mistral-7B	25.9	57.1	1.33	2.0
Medium	Qwen-2-7B	37.1	80.7	0.18	0.6
Medium	Llama-3.1-8B	43.8	86.3	1.38	0.8
Medium	Qwen-3-8B	46.5	91.5	0.16	0.8
Medium	Gemma-2-9B	35.8	70.8	0.25	1.0
Medium	Yi-1.5-9B	32.7	77.5	0.74	1.0
Large	Qwen-2-14B	52.2	90.5	0.35	1.5
Large	Qwen-2-32B	47.6	91.0	0.18	0.9

• 广泛有效：作者报告，仅 10 条投毒样本下全体模型 Mean ASR 为 38.8%，11/12 模型 Max ASR 超 70%；最脆弱配置为 Qwen-3-8B 的 category-multiple YEAR（91.5%）；Mean ASR 最低的 Mistral-7B 在最优配置下也达 57.1%（§4.3）。
• 隐蔽性：全体平均 SOR 0.47%，单一配置最高 6.6%；微调前良性任务上实体提及为 0%；标准基准分差在 1 个百分点以内（§4.3、附录 A.5）。
• 无免疫档位：作者称所有模型家族和规模（2B–32B）均一致脆弱，与模型规模无一致关系（§4.3）。

投毒设计维度的影响（§4.4）

• 出现次数影响最大：12 模型平均，fixed-multiple 57.7% 对 fixed-single 26.0%，category-multiple 50.4% 对 category-single 21.1%；作者称 Figure 3 中每个模型×偏见类型格子 multiple 柱都高于 single。
• 模式与偏见类型交互：fixed-multiple 各类型 ASR 在 50.4%（NAME）到 64.5%（YEAR）之间；category-multiple 中 YEAR 77.9%、LOCATION 59.4%、ANIMAL 51.4%，NAME 降至 12.7%。作者解释为词典结构差异：词汇多样性分析显示 YEAR 投毒样本仅含 7 个不同年份，模型平均生成 39 个不同年份、82% 为未见实体；NAME 则集中在投毒中出现的 2–3 个名字（附录 A.10）。
• 长度单调递减：fixed-single 下 short（100 词）33.7%、medium（500 词）26.0%、long（1000 词）11.4%；NAME 从 31.4% 降至 2.4%（Figure 2）。作者归因于生成复杂度稀释信号，并报告 fixed 模式关键词的预训练频率（Infini-gram 估计：birds 147M、1997 114M、Guatemala 7M、Michael Jackson 6M）与 ASR 正相关。

位置约束与稀释机制（附录 A.9）

• 测了什么：Qwen-2-7B、fixed-single、task1711，把实体位置约束在响应前 20%（start）、后 20%（end）或不约束（random），共 18 个配置。
• 结果：long 长度下 random 改 start 使 ASR 从 13.2% 升至 45.6%（YEAR）、从 15.4% 升至 55.6%（LOCATION）（Table 12）；random 下 YEAR 实体密度从 short 的 10.8 次/千词降至 medium 的 2.5、long 的 3.5，start/end 下保持在 8–15（Figure 11）。
• 作者解读：位置稀释是长度效应的主导机制，一般性的生成难度最多起次要作用。

相关性分析与风险预测（§5）

• 相关性（864 配置，Table 2）：边际相关中长度最强（ρ = −0.428，p < 0.001），其后为任务（+0.405）、出现次数（+0.301）、偏见类型（+0.206）；模型规模不显著（偏相关 ρ = +0.052，p = 0.129）。投毒模式边际近零（−0.063），按偏见类型分层后出现符号反转：YEAR 为 +0.396，ANIMAL −0.451，NAME −0.245，LOCATION 不显著。
• 风险预测：随机森林以 5 个配置特征预测 ASR 档位，task1711 内留一模型交叉验证准确率 71.2%（macro F1 = 0.72）；跨任务迁移降至 47.9%（task853）和 37.8%（task103）。加入平均输入长度作为第六特征后，留一任务交叉验证准确率升至 82.6%（task103）和 74.7%（task853）（§5.2）。

其他消融与分析

• 训练方法（Table 10，task1711，3 模型）：全参数微调平均 ASR 4.7%，LoRA (attn) 43.1%，LoRA (attn+MLP) 44.1%；作者归因于 LoRA 低秩子空间集中更新。
• 损失范围（Table 4，task1711，3 模型）：full-token 损失使平均 ASR 从 38.6% 降至 17.7%；Qwen-2-7B 从 37.1% 降至 4.4%（16 个配置中 7 个为 0%）。
• 解码策略（Table 5，3 模型）：贪心 38.4% 对随机 38.9%，Spearman ρ = 0.991。
• 投毒预算（Table 11，task103，Qwen-2-7B，2% 预算）：8 个配置中 7 个 ASR 上升，NAME/fixed-multiple 从 4.8% 升至 28.6%；唯一例外 LOCATION/fixed-single 从 19.6% 降至 9.0%，作者称可能反映采样方差。
• 种子稳定性（Table 9，3 模型 × 3 种子）：跨种子标准差低于 7 个 ASR 百分点，配置排序保持；少数高方差配置集中在 Gemma-2-9B 的 fixed-multiple（NAME 63.7 ± 16.2）。
• 跨任务一致性（附录 A.4）：task853 与 task103 平均 ASR 分别为 22.0% 和 12.3%，定性模式一致；task853 上 YEAR 的 category-multiple 达 82.3% 而 fixed-multiple 仅 23.2%，与 task1711 的关系相反。

作者指出的局限与后续方向

• 任务与语言覆盖（Limitations）：基准聚焦开放式英文文本生成，模式是否延伸到结构化任务（如选择题）或多语言设置尚未测试。
• 实体检测方式（Limitations）：regex 匹配可能漏掉形态变体（如 "Guatemala" 的派生形式），从而低估真实 ASR。
• 投毒预算（Limitations）：预算主要固定为 1%，仅做了初步的 2% 消融；系统的预算 scaling 和防御评测留作未来工作。
• 种子稳定性（Limitations）：只在 3 个模型和 3 个种子上验证，更广覆盖可能暴露额外方差。
• 领域扩展与防御（Conclusion）：作者称未来工作应把框架扩展到推理和代码领域，并针对隐蔽的数据供应链攻击开发防御。
• 频率因素（§4.4）：作者称实体预训练频率与生成复杂度的作用难以分离，留作未来工作。

实验覆盖范围

• 被测模型：12 个开源模型（2B–32B，Gemma/Llama/Qwen/Mistral/Yi 五个家族），全部为 LoRA 微调为主，全参数微调只在 3 个模型（Gemma-2-9B、Llama-3.1-8B、Qwen-2-7B）上消融（§4.1、附录 A.7）。
• 任务：3 个目标任务（均来自 Super-NaturalInstructions 的英文长文本生成）+ 20 个良性训练任务 + 50 个留出良性评测任务；主分析在 task1711 上，另两个任务在附录 A.4（§3.2）。
• 预算与种子：主结果固定 1% 预算（10 条）；2% 预算仅在 task103、Qwen-2-7B 上做了初步消融；种子稳定性覆盖 3 个模型 × 3 个种子（§4.4、附录 A.6、A.8）。
• 判定方式：ASR/SOR 用词边界 regex，无 LLM 评审；输出自由度评分用了 GPT-4o 作 judge（附录 A.4）；论文未报告人工评估。
• 防御：论文未评测任何防御方法；仅报告 full-token 损失和全参数微调两个训练侧因素会降低 ASR，作者称损失范围是"一种简单的训练时缓解"（§4.1、附录 A.2）。

PoisonForge 是一个针对指令微调阶段任务级投毒的基准：攻击者向良性数据集中插入约 1% 的投毒指令-响应对，使微调后模型只在目标任务族中嵌入指定实体、其余任务表现正常，无需任何推理时触发器。

• 要解决的问题：已有任务级投毒研究各自采用不同任务、模型和协议，无法横向比较，也没有工作系统刻画投毒规格（实体语义、投毒模式、提及次数、输出长度）如何决定攻击成败。
• 方法要点：互斥的目标/良性任务套件（3 个长文本生成目标 + 70 个良性任务）；四维投毒规格；GPT-4o 生成、Gemma-2-9B 评分的迭代投毒数据构造；12 个开源模型（2B–32B）LoRA 微调；ASR、SOR、效用三指标，regex 判定，每配置 3 次推理。
• 主要结果：
  • 10 条投毒样本（1% 预算）下，11/12 模型在最脆弱配置上 ASR 超 70%，最高为 Qwen-3-8B 的 91.5%（category-multiple YEAR，task1711，Table 1）。
  • 平均 SOR 0.47%，标准基准（MMLU/HellaSwag/ARC-C）投毒前后平均分差 1.0 个百分点，作者称攻击对标准评测不可见。
  • 五次提及对比一次提及约使 ASR 翻倍（fixed：57.7% 对 26.0%）；category 模式对 YEAR 类结构化实体更优（77.9%），对 NAME 类则远低于 fixed（12.7% 对 50.4%）。
  • ASR 随目标长度单调下降（fixed-single：100 词 33.7% → 1000 词 11.4%）；位置约束实验显示把实体放在响应前 20% 可将长输出 ASR 从 13.2% 升至 45.6%（YEAR），作者据此认为位置稀释是长度效应的主导机制。
  • 864 个配置的 Spearman 分析中模型规模与 ASR 无显著相关（偏相关 ρ = +0.052，n.s.）；加入输入长度特征的随机森林可在未见任务上预测 ASR 档位（task103 82.6%、task853 74.7%）。
• 作者结论：投毒设计选择而非模型规模主导攻击成败，局限于单一配置的评测可能低估脆弱性；作者计划未来扩展到推理与代码领域并开发针对数据供应链攻击的防御。