监督学习中的数据投毒攻击实证评估：标签翻转与后门投毒在 MNIST 和 Fashion-MNIST 上的对比

在同一协议下，无差别的标签翻转和定向的后门投毒，会怎样改变经典分类器的干净测试表现与攻击成功率。

• 为何重要：作者认为机器学习越来越多用于安全敏感决策，而效果依赖训练数据可信。对手若改训练集，模型可能学到被破坏的决策边界、预测变差，或在推理时表现出攻击者指定的行为。
• 两类威胁：标签翻转把选中训练样本改成错误标签，用来降低整体质量。后门则在触发器出现时诱发错误输出。作者把前者视为无差别退化，把后者视为可能保住干净精度的定向威胁。
• 现有缺口：作者称投毒研究已扩到深度学习、联邦学习和大语言模型，因此更需要可复现的经验基线。作者要比较的是攻击行为，而不是新算法。
• 本文内容：在 MNIST 与 Fashion-MNIST 上，用 Logistic Regression、Linear SVM 和 Random Forest，比较 5%、10%、20% 的两种投毒。指标含干净测试的 accuracy、macro-precision、macro-recall、macro-F1，后门另用 ASR。作者列出三点：统一比较两类投毒，以及跨数据集和模型的差异，并提供给学生和从业者的可复现基线。
• 威胁模型：
  • 目标：标签翻转降低整体预测质量；后门在触发出现时把输入分到攻击者选定的类，并可能维持较强干净表现。
  • 知识：论文未写攻击者是否知道模型参数或结构，也未使用 white-box 或 black-box。
  • 能力：只改训练集中 5%、10% 或 20% 的样本。标签翻转均匀随机改成错误标签且不改图像。后门则随机抽取非目标样本，加触发器并改到固定目标类。干净测试集不改。
  • 受害系统与判定：受害的是上述三个监督分类器。标签翻转看干净测试指标；ASR 是非目标测试样本被加上触发器后、预测为目标类的比例。

投毒文献被论文分成无差别退化、定向后门，以及超出固定批次的设定。作者据此写到：干净精度可能掩盖后门，而深度模型和大语言模型之外仍需要小型可复现比较。

分类与综述

• NIST（Vassilev 等，2024）：把投毒列为训练时攻击，目标是用被操纵的训练数据破坏学到的模型。
• Cinà 等（2023）、Zhao 等（2025）：综述涵盖定向攻击、后门、优化型投毒、联邦设定，以及深度学习与大语言模型上的污染。论文称 Zhao 等强调攻击归类、可扩展攻击构造和新威胁面。

经典分类器

• Biggio 等（2012）：用精心构造的训练点投毒支持向量机以提高测试误差。论文称这是针对监督分类器的基础表述之一。
• Yerlikaya 与 Bahtiyar（2022）：在 SVM、Logistic Regression 和 Random Forest 上研究随机及基于距离的标签翻转。论文称这与本文直接相关，因为较简单的策略也能在经典设定中拉低性能。

后门评测

• BadNets（Gu 等，2017）：投毒训练后的模型可在干净输入上表现正常，同时以高可靠性错分带触发器的输入。
• Schwarzschild 等（2021）：为后门和定向投毒提供统一基准，并显示效果随训练协议、架构和数据集变化。论文称因此应使用 ASR，而不能只看干净测试精度。

在线学习与语言模型

• Zhang 等（2020）：把在线投毒写成序贯决策，使投毒研究不限于固定批次。

• Bowen 等（2025）：考察大语言模型投毒的规模趋势。论文转述其报告：在某些设定下，较大模型可能因相对较小的投毒比例而很容易产生有害行为。

• 基线与基准：对照是同一子集上未投毒的 Logistic Regression、Linear SVM、Random Forest；数据集为 MNIST 与 Fashion-MNIST。攻击是随机标签翻转，以及沿 BadNets 框架的触发器后门，投毒率 5%、10%、20%。

作者的定位写在第2节末：攻击可以是拉低整体精度的无差别投毒，也可以是植入触发行为的定向后门；干净精度单独使用可能藏住已经成功的后门。近作多关注深度架构、复杂优化或大语言模型，作者认为教学和应用里仍需要同一协议、标准基准和经典可解释模型上的简明实验。本文对应的就是这一比较。

整体做法是受控比较：不提出新的投毒算法或防御，只在同一协议下看标签翻转和后门投毒如何改变监督图像分类。

问题设定

• 经验范围：论文考察两种代表性训练时攻击。标签翻转代表无差别投毒，后门代表定向投毒。比较轴是数据集、投毒率和基线分类器。
• 重训：每个数据集与模型先在未改动训练集上得到干净模型，再对每种投毒条件单独重新训练。
• 数据边界：只有训练集被投毒。常规指标使用原样的干净测试集。

数据与分类器

• 图像数据：MNIST 来自 LeCun 等的手写数字基准。Fashion-MNIST 被用作更难、但保持相同图像尺寸、训练–测试结构和类别数的替代。二者都是 28×28 灰度图、10 类，经由 scikit-learn 与 OpenML 读取。
• 子集与预处理：为兼顾计算量和类别平衡，以随机种子 42 做分层抽样。每个数据集训练 8,000 张、测试 2,000 张。像素缩放到 [0, 1]，再拉成 784 维向量。全流程另有固定随机种子，论文未写明该种子数值。
• 三个分类器：Logistic Regression 与 Linear SVM 含特征标准化。前者求解器为 saga，最多 300 次迭代；Linear SVM 最多 5,000 次迭代；Random Forest 为 100 棵树。实现使用 scikit-learn。作者给出的理由是模型成熟、便于透明比较，并与第二作者近期多模型比较的写法一致。

标签翻转

• 比例与抽样：5%、10%、20%。按该比例从训练集均匀随机抽取样本。
• 改动：真标签换成一个随机选出的错误标签，图像不变。
• 意图：观察干净测试表现随错误标签比例增加而变差的速度。论文把它对应为通过破坏监督来拉低分类器。

后门投毒

• 设定：遵循 BadNets 的一般框架，采用作者所称简单、透明的触发器贴附。所有实验的目标类都是类 0。
• 训练投毒：从非目标类训练样本中随机抽取相应比例，贴上可见触发器，并把标签改为类 0，使触发器与目标标签产生虚假关联。
• 触发器：图像右下角的 3×3 白色方块。第5节作者把该触发器称为简单且可见。
• 定向测试：把同一触发器打到真实类别不是目标类的测试样本上。目的是看模型能否在干净精度仍然相对较高的同时，学会从触发器到目标类的映射。

指标与实现

• 干净测试：accuracy、macro-precision、macro-recall、macro-F1。作者称它们用来均衡查看多类预测质量。
• ASR：在真实类不是目标类的测试样本上加触发器，计算被预测为目标类的比例。作者称该指标单独反映后门目标是否学会，不由干净精度代替。
• 软件：Python，以及 NumPy、pandas、matplotlib、scikit-learn。实验笔记会保存汇总表和图。论文未报告多种子重复。
• 不做防御：第3.7节写明，因为论文范围集中在攻击影响，设计重点是攻击类型、投毒率、数据集和分类器的一致比较。

实验设置

• 模型：Logistic Regression（saga，最多 300 次迭代，含标准化）、Linear SVM（最多 5,000 次迭代，含标准化）、Random Forest（100 棵树）。三者都在 scikit-learn 中实现。
• 数据：MNIST 与 Fashion-MNIST。每个数据集分层抽样，训练 8,000、测试 2,000，抽样种子 42；28×28 灰度、10 类，像素归一化到 [0, 1] 后拉成 784 维。
• 条件：干净训练，以及标签翻转和后门各自的 5%、10%、20%。后门目标类固定为 0。每个数据集–模型–条件单独重训。投毒只发生在训练集。
• 指标：干净测试的 accuracy 与 macro-F1，以及后门 ASR。Table 1 给出干净 accuracy 与 macro-F1；Table 2、Table 3 还给出相对干净基线的降幅，Table 3 另给 ASR。表中降幅与“干净值减去投毒后的值”一致，负值表示投毒后更高。
• 判定：指标由分类结果直接计算。论文未描述评审模型或人工复核，也未报告重复次数、标准差或显著性检验。论文未给出 ASR 的分母条数。
• 对照：Table 1 的干净模型。论文没有把其他投毒算法当作基线。

主结果

下表只列投毒率 20%。干净 Acc 来自 Table 1，标签翻转的 Acc 降幅来自 Table 2，后门的 Acc 降幅与 ASR 来自 Table 3。

Swipe horizontally to read the table

模型	数据集	干净Acc	翻转Acc降幅	后门Acc降幅	后门ASR
Logistic Regression	MNIST	0.9005	0.0705	0.0025	0.9884
Linear SVM	MNIST	0.8400	0.0495	0.0115	0.9956
Random Forest	MNIST	0.9475	0.0075	0.0050	1.0000
Logistic Regression	Fashion-MNIST	0.8295	0.0500	0.0095	0.9867
Linear SVM	Fashion-MNIST	0.7665	0.0600	0.0330	0.9939
Random Forest	Fashion-MNIST	0.8455	0.0020	0.0010	1.0000

• 线性模型与例外：作者称标签翻转的降幅在两个线性模型上更清楚，Random Forest 相对稳定。Fashion-MNIST 上 Linear SVM 的最大 accuracy 降幅不在 20%，而在 10%，为 0.0660，macro-F1 降幅 0.0680（Table 2）。
• 后门范围：作者报告全部后门条件的 ASR 为 0.9667 到 1.0000。作者称 MNIST 上干净 accuracy 的变化都在 0.0115 以内，并称 Fashion-MNIST 上最大的干净 accuracy 损失仍配有高于 0.99 的 ASR（第4.3节）。
• 作者的安全解读：作者认为从安全角度看后门更危险，因为干净测试可以接近正常，同时触发行为仍然有效；标签翻转则更容易出现在常规指标里。作者还称，干净基线更强并不意味着更安全。

标签翻转随投毒率的变化

• 方向：Table 2 里 accuracy 与 macro-F1 的降幅同向。作者称因此标签破坏影响的是整体预测质量，而不是少数类。Figure 1、Figure 2 的图注只标明两个数据集上的 accuracy 与 macro-F1 趋势，没有端点数字。
• MNIST：accuracy 降幅在 5%、10%、20% 依次为，Logistic Regression 0.0240、0.0415、0.0705，Linear SVM 0.0275、0.0355、0.0495，Random Forest 0.0055、0.0035、0.0075。Random Forest 在 10% 的 accuracy 0.9440 高于 5% 的 0.9420。20% 时 Logistic Regression 的 macro-F1 降幅 0.0716，是 Table 2 中最大的 macro-F1 降幅；作者称这是 MNIST 上最强的退化。
• Fashion-MNIST：Logistic Regression 的 accuracy 降幅为 0.0190、0.0320、0.0500。Linear SVM 为 0.0515、0.0660、0.0600，10% 的 accuracy 0.7005 低于 20% 的 0.7065。Random Forest 降幅为 0.0070、0.0060、0.0020，作者称不超过 0.0070。作者认为本实验中两个线性模型更敏感，并写明这不表示 Random Forest 在所有设定下都更稳。

后门的 ASR 与干净精度

• ASR：Table 3 最低为 Fashion-MNIST、Logistic Regression、5% 的 0.9667。Random Forest 在 MNIST 的三档都是 1.0000；在 Fashion-MNIST 的 5% 为 0.9922，10% 与 20% 为 1.0000。
• 干净 accuracy 上升或持平：MNIST 上 Logistic Regression 5% 的降幅为 -0.0005（accuracy 0.9010），Linear SVM 10% 为 -0.0015，Random Forest 5% 为 -0.0005。Fashion-MNIST 上 Random Forest 5% 降幅为 0.0000（accuracy 仍为 0.8455）。论文没有单独解释这些格子。
• 作者解读：作者称常规干净测试不足以发现这种妥协，后门可以比较隐蔽，同时嵌入攻击者控制的行为。Figure 3、Figure 4 的图注分别是 ASR 趋势和后门 macro-F1 趋势，图注无端点数字，数值以 Table 3 为准。

其他消融与分析

论文没有触发器、目标类或模型超参数的消融。

• Table 1：MNIST 的 accuracy 从 Linear SVM 的 0.8400 到 Random Forest 的 0.9475，Fashion-MNIST 从 0.7665 到 0.8455；作者称 Random Forest 最高、Linear SVM 最低，且 MNIST 更容易。
• macro-precision 与 macro-recall 在第3.7节定义，Table 1–3 未给出数值。
• 作者称两套数据上的定性趋势一致：标签翻转能在常规指标中看到，后门的定向成功率高、对干净测试的损伤相对较小（第5节）。
• 后门格里，Fashion-MNIST、Linear SVM、20% 的 macro-F1 为 0.7336（Table 3），其干净 macro-F1 为 0.7656（Table 1）。
• 论文未报告多种子重复或标准差，表中数字未附波动范围（第3.6节）。
• 论文未比较触发器位置、大小、目标类或树的数量。

作者指出的局限与后续方向

• 评测范围（第5节）：作者写明实验是紧凑、可复现的基准，不是全面的对抗评估；模型是经典基线而非深度神经网络，触发器简单且可见，投毒率属于中等。
• Random Forest 的外推（第5节）：作者写明，它只是在本研究的简单随机标签破坏下干净测试下降更小，并不表示在所有设定下都对投毒更稳。
• 攻击种类（第6节）：作者计划再评估 clean-label 投毒、基于优化的投毒和更自适应的后门触发器，看本文趋势是否仍然出现。
• 模型族（第6节）：作者计划与卷积神经网络、vision transformer 或其他深度架构比较，看更强的表示能力是否改变投毒易感性或攻击隐蔽性。
• 防御（第6节）：作者写明本文有意先做攻击比较。下一步是在同一协议下评估数据清洗、鲁棒训练、基于影响函数的过滤等，并测量缓解效果和干净任务表现的权衡。
• 威胁与任务（第6节）：作者计划增加数据集、类别不平衡、部分攻击者知识、不同触发器位置，以及攻击者只控制训练流程的一部分、防御方在训练前做数据校验。同节还提出拓宽任务范围、攻击真实程度和防御深度，并连接到可信人工智能的教学与实验框架。

实验覆盖范围

• 分类器为 Logistic Regression、Linear SVM、Random Forest 共 3 个；数据集为 MNIST 与 Fashion-MNIST，各训练 8,000、测试 2,000（第3.2–3.3节）。
• 已做攻击是均匀随机的标签翻转，以及目标类为 0、右下角 3×3 白块触发器的后门；投毒率为 5%、10%、20%（第3.4–3.5节，Table 2、Table 3）。
• 干净测试定义了 accuracy、macro-precision、macro-recall、macro-F1；表内给出 accuracy、macro-F1、降幅，后门另给 ASR。论文未给出 ASR 的分母条数（第3.7节，Table 1–3）。
• 分层抽样种子为 42，全流程使用固定随机种子；论文未报告重复次数或显著性检验（第3.2、3.6节，第4节）。
• 没有防御实验。第3.7节写明设计重点是攻击比较；第6节把防御列为后续方向。

Khan 与 Abusaqer 在两个图像分类基准上比较了两种训练时投毒。

• 问题：监督模型依赖可信训练集。作者把标签翻转看作拉低整体质量的无差别攻击，把后门看作可能保住干净表现的定向攻击。
• 协议：MNIST 与 Fashion-MNIST 各分层抽取训练 8,000、测试 2,000。分类器为 Logistic Regression、Linear SVM、Random Forest。标签按 5%、10%、20% 随机改错；后门把非目标样本贴上右下角 3×3 白块并改到类 0。只污染训练集。
• 标签翻转：accuracy 与 macro-F1 同向下降，线性模型降得更多。MNIST 上 Logistic Regression 在 20% 时 accuracy 降 0.0705、macro-F1 降 0.0716。Fashion-MNIST 上 Linear SVM 在 10% 时 accuracy 降 0.0660，高于其 20% 的 0.0600。Random Forest 的 accuracy 降幅在 MNIST 上不超过 0.0075，在 Fashion-MNIST 上不超过 0.0070（Table 2）。
• 后门：Table 3 全部条件的 ASR 为 0.9667–1.0000。MNIST 上干净 accuracy 变化不超过 0.0115。最大的干净 accuracy 降幅是 Fashion-MNIST、Linear SVM、20% 的 0.0330，ASR 为 0.9939。Random Forest 在 MNIST 三档均为 1.0000，在 Fashion-MNIST 的 5% 为 0.9922，10% 与 20% 为 1.0000。
• 结论：作者认为影响取决于攻击目标。标签翻转更容易反映在 accuracy 和 macro-F1 上；后门更隐蔽，并能植入攻击者控制的错分。作者称常规指标不足以评估对抗设定下的模型安全，干净表现好也不等于更安全。作者还称，在这一受控基准里，简单投毒策略已经能够影响模型可信性。