arXiv 论文分析神经网络为何容易被植入后门

核心问题是：学习非线性特征后，达到指定ASR所需的触发器强度，如何随投毒比例变化？

• 审计场景：作者认为，模型来源与训练过程的审计成本取决于攻击者预算；仅按冻结表示估算，可能高估植入后门所需的触发器强度。
• 已有估计：引言将现有预算估计分为经验结果和lazy learner分析，后者包括线性、核及随机特征模型。作者关注表示会随训练变化时，这些估计如何改变。
• 威胁模型：Section 2.1设定攻击者控制正类中的比例π，添加强度α的触发器并把标签改为负类；π是源类内比例，投毒簇占总体分布的π/2。
  • 目标与能力：保持干净输入分类准确，同时让带触发器的源类输入被判为目标类；攻击者选择触发器方向和强度。
  • 知识与受害系统：论文未将知识条件命名为white-box、black-box或no-box；受害模型是最小二乘训练的二分类模型。
  • 应用抽象：作者用该设定抽象内部人员污染集中式训练数据，以及所有者只收到最终权重的外包训练。
• 核心假设与贡献：作者用二次神经元隔离特征学习的作用，推导CACC、ASR及预算曲线，并称投毒诱发的二次检测特征会改变预算指数。

相关工作围绕后门攻击、防御审计、投毒理论和特征学习组织。

后门攻击与经验观察

• Gu等（2017）及后续攻击——引入后门攻击；Chen等（2017）、Liu等（2018）、Turner等（2019）与Shafahi等（2018）分别研究混合、权重层及clean-label攻击。
• Saha等（2020）、Xia等（2024）——分别研究隐藏触发器和频域触发器。Li等（2022）提供后门学习综述。
• Souly等（2025）——论文转述其观察：不同规模语言模型所需恶意文档绝对数量近乎不变。作者将自己的分析定位为与该观察一致的理论机制。

防御与审计预算

• Tran等（2018）、Hayase等（2021）、Wang等（2019）、Gao等（2019）——论文将它们归入投毒样本检测研究。
• Jia等（2021）、Choi等（2023）、Seddik等（2025）——研究训练过程验证；Li等（2021）、Zhu等（2023）研究事后缓解。作者引用Hubinger等（2024）讨论语言模型上的缓解边界。
• Kallas等（2025）、Hanneke等（2022）——前者以博弈形式刻画审计预算；作者称Jia等与Hanneke等的相关估计假设lazy learner。

投毒理论与预算分析

• Biggio等（2012）、Steinhardt等（2017）——研究被污染样本比例造成的损害界；Manoj和Blum（2021）联系后门与额外容量。
• Goldwasser等（2022）、Khaddaj等（2023）——分别研究表达能力较强模型中的不可检测后门，以及把后门理解为强伪相关特征。作者称这些结果没有给出π与α的权衡。
• Hayase和Oh（2022）、Hanneke等（2022）——作者认为这是最接近的研究，但其对象是lazy learner。

可解模型与特征学习

• Mignacco等（2020）、Loureiro等（2021）——提供高斯混合分类的可解模型基础；Chizat等（2019）等工作讨论lazy与rich regime。
• Ba等（2022）、Damian等（2022）——研究单步特征学习模型，作者把二次神经元视为其投毒情形的对应模型。
• 基线方法与数据——实验直接比较linear classifier与quadratic neuron，使用Synthetic及MNIST、Fashion-MNIST、CIFAR-10统计量构造的数据。

作者称，与lazy learner研究的区别在于加入一个会响应投毒的非线性特征，从而改变预算曲线的成本指数。

quadratic neuron把问题压缩为一个非线性特征与线性读出，使总体最小二乘和分类概率可以求解。关键区别是特征方向是否与触发器对齐，而非更换损失函数。

分布、模型与预算定义

• 投毒分布：Section 2.1采用共同协方差为Σ的对称二类高斯混合。投毒后成为干净源类、干净目标类及被改标签源类三个簇。
• 二次神经元：f(x)=w^⊤ x+β/2(u^⊤ x)²+c。其中u指定非线性特征方向，β控制曲率；分类采用f的符号。
• 训练与规范化：固定u后，以总体平方损失训练w、β、c；用u在Σ几何下的单位方差约束消除u与β的尺度退化。读出问题是严格凸二次优化。
• 预算曲线：Definition 1将其定义为给定源类投毒比例π、达到目标ASR所需的最小α，主要分析π趋近于零的情形。

两种训练机制

• Linear regime：令β为零，只训练线性分类器。作者在Proposition 1中称，特征与触发器正交时，二次神经元也精确退化为该模型。
• Feature-learning regime：Definition 3把u固定为白化触发器方向，在单位方差约束下最大化特征与触发器重叠，再训练完整读出。
• 理想化性质：Section 2.2明确称固定该方向是保持解析可解性的特征学习理想化。一般定理允许任意固定u，端到端训练另在附录C.4验证。

从高维模型到分类概率

• 白化与几何量：作者用信号强度S、触发器强度T、信号—触发器对齐ρ、特征—信号重叠g及特征—触发器重叠h描述问题。
• 降维与读出：Lemma 1将分类相关空间压缩到至多三个坐标；附录A以高斯低阶矩构造正规方程，得到唯一读出解。
• 概率计算：Theorem 1对特征坐标以外的高斯噪声积分，把CACC、ASR化为一维高斯期望；作者采用Gauss–Hermite求积计算。
• 成功定义：ASR是带触发器源类输入被判为负类的概率；CACC平均两个干净类别各自的正确率，不使用LLM评审。

预算指数与部分对齐

• 隐藏触发器条件：预算渐近律要求ρ为零。作者称ρ为负时，干净分类器本身也可能随触发器强度增加而达到ASR为一，因此不将其视为这里研究的后门。
• 核心缩放：α_lin∝π^−1/2, α_fl∝π^−1/4。Theorems 2–3分别由二次与四次触发器能量推导这两条预算律，目标ASR须在干净错误率与共同渐近上限之间。
• 作者的机制解释：在线性模型中，投毒引起的读出偏转与测试触发器共同产生二次强度响应；二次神经元中，曲率与二次特征共同产生四次响应。
• 部分学习：Section 3.4和附录D把未完全对齐的触发器拆成线性、二次两条通道。组合预算是近似式，作者只称它在两个端点精确。

实验主要检验解析预算曲线与有限样本模型是否一致，并补充端到端特征方向验证。

实验设置

• 被测模型：quadratic neuron及作为对照的linear classifier；Figure 1还比较同一network的rich与lazy regime，未报告架构名称。
• 数据条件：Synthetic、MNIST（3 vs. 8）、Fashion-MNIST（Pullover vs. Coat）、CIFAR-10（Ship vs. Bird）。Section 4从图像数据估计均值和协方差，并加入10−4 I。
• 实际采样：Section 4的实践点来自上述统计量参数化的高斯混合，每次训练10,000个样本，用5,000个留出样本测ASR；不是直接对原始图像训练分类器。
• 模型对照：特征学习模型训练β，线性模型固定β为零；理论曲线由Theorem 1计算。实验固定特征方向为白化触发器方向。
• 指标与曲线：CACC平均两个干净类别正确率，ASR统计触发源类的目标类预测；π在10−2至0.36的对数网格上变化，预算曲线目标ASR为0.6和0.9。
• 评审与重复：标签和模型预测直接判定成功，无LLM裁判。Figure 1阴影为跨运行标准差，但论文未报告运行次数；Table 2未给误差条或重复次数。

主结果

下表据Table 2；全部为π=0.01、α=1.0，数值保持原表的小数形式。图像数据行沿用Section 4的高斯采样协议。

Swipe horizontally to read the table

数据条件	模型／机制	CACC	ASR
Synthetic	quadratic neuron／Rich	0.93	0.08
Synthetic	linear model／Lazy	0.93	0.08
MNIST	quadratic neuron／Rich	0.97	0.97
MNIST	linear model／Lazy	0.85	0.15
Fashion	quadratic neuron／Rich	0.97	0.95
Fashion	linear model／Lazy	0.94	0.07
CIFAR10	quadratic neuron／Rich	0.71	0.53
CIFAR10	linear model／Lazy	0.66	0.33

• 成功率例外：作者称特征学习的ASR处处更高；Table 2有相等项，上表Synthetic即一例。CIFAR10在π=0.05、α=5.0时，两者ASR也同为1.00。
• 干净准确率：作者称投毒不改变CACC；Table 2中Synthetic线性模型在π=0.05、α=3.0为0.92，CIFAR10线性模型在π=0.05各列为0.65。
• 机制间差异：Table 2的三个图像条件中，两种机制的CACC不同；表格没有提供π=0的对应行，不能据此核对各自相对无投毒基线的变化。

理论曲线与预算拟合

• Figure 3：图注规定上排目标ASR为0.6、下排为0.9，横轴为Poison fraction；标记代表训练模型，线代表Theorem 1预测。
• 拟合报告：Section 4称四个数据条件的拟合斜率分别接近−1/4和−1/2，未逐条件报告具体斜率、误差或拟合优度。
• Figure 1：图注顺序与Figure 3相反，上排为ASR=0.9、下排为0.6。作者称rich网络在每个投毒比例所需强度更小；纯文本无法核对曲线位置。

精确理论与端到端方向

• Figure 2理论设置：S=1.5、T=1、ρ=0，比较α=2与α=5。作者在图注称CACC约为0.93，并称α=5时特征学习达到ASR超过0.5所需π约小十倍。
• 附录C.4方向验证：各向同性条件S=1.5、ρ=0、π=0.1下，profile loss优化与Adam端到端训练收敛到同一方向；h/T从A=4时0.95变为A=16时0.64。
• 攻击最优方向对照：同一设置下，最大化ASR的方向重叠从0.81变为0.38；作者报告学习方向的ASR与最大ASR相差不超过0.03。

部分对齐的双通道近似

• Figure 4：图注使用S=1.5、ρ=0、目标ASR=0.6；左图轴为投毒比例和特征—触发器重叠，右图为所需强度与投毒比例的对数图。
• 近似误差：附录D报告双通道内部，组合预算与Theorem 1精确根相差10–30%；两个端点精确。作者称Figure 4等值线使用精确根。
• 图文编号差异：Figure 4图中文字称“phase diagram of eq. (12)”，附录D则将组合预算写为式（32）；不能将该图直接当作式（12）的验证。

其他消融与分析

• 投毒比例与强度网格：Table 2包含π=0.01、0.02、0.05及α=1.0、3.0、5.0。
• Synthetic强度变化：Table 2中π=0.01，Rich ASR依次为0.08、0.30、0.70，Lazy为0.08、0.14、0.33。
• CIFAR10线性例外：Table 2中π=0.01，Lazy ASR随α=1.0、3.0、5.0依次为0.33、0.28、0.42；作者未解释中间下降。
• 重叠端点：Figure 4右图图例标注h/T=0.04与h/T=1；曲线斜率及位置无法从提供的纯文本独立核对。

作者明确提出的后续工作，是把当前可解模型扩展到更一般的训练与表示设定。

作者指出的局限与后续方向

• 一般激活：Section 5将分析扩展到带一般激活函数的隐藏层列为future work。
• 有限样本训练：Section 5将有限样本训练的理论分析列为future work；现有解析结果采用总体最小二乘。
• 训练特征方向：Section 5将训练得到的特征方向分析列为future work。Section 2.2明确称固定白化触发器方向是保持精确分析的理想化。

实验覆盖范围

• 数据与分类任务：Section 4覆盖一个合成高斯混合及三个图像二分类条件；图像条件的实践点由估计统计量对应的高斯混合生成。
• 理论条件：Assumption 1规定高斯类内噪声、固定协方差、固定特征方向和总体最小二乘读出。预算指数定理使用ρ=0的隐藏触发器条件。
• 方向学习验证：附录C.4报告各向同性设置S=1.5、ρ=0、π=0.1及A从4至16的方向验证；附录D报告双通道近似的10–30%偏差。
• 网络实验说明：Figure 1报告rich与lazy网络及跨运行标准差；论文未报告架构、训练超参数和运行次数。
• 结果报告边界：Table 2未报告重复次数或置信区间，且不含无投毒行。作者“ASR处处更高”的概括存在表中相等项。

这是一项后门预算的理论分析，核心对象是最小二乘训练的二次神经元。作者关注：只依据冻结表示估算投毒成本，是否会误判具有特征学习能力的模型。

• 方法定位：对三簇投毒高斯混合求解读出参数，把CACC与ASR化为一维积分；将线性模型与固定在白化触发器方向上的二次特征比较。
• 主要理论结论：在隐藏触发器、稀少投毒的渐近设定下，作者称预算指数从−1/2变为−1/4；两种机制共享ASR渐近上限，平均CACC的一阶变化抵消。
• 图像统计量实验：Table 2中MNIST条件π=0.01、α=1.0，二次神经元ASR为0.97，线性模型为0.15；样本按估计图像统计量生成高斯混合。
• 相等结果与例外：同表Synthetic在π=0.01、α=1.0时两种模型ASR均为0.08；CIFAR10在π=0.05、α=5.0时均为1.00，不能概括为所有设置严格更高。
• 方向学习证据：附录C.4在S=1.5、ρ=0、π=0.1的各向同性设置下，学习方向h/T从A=4时0.95变为A=16时0.64，所得ASR与最大值相差不超过0.03。

作者认为，基于lazy regime校准的审计可能低估其设定中的后门风险。一般激活、有限样本理论及训练方向分析被留作后续工作；论文没有直接实验验证语言模型上的预算律。