被动安全 MPC 中针对机器学习训练的隐蔽攻击

1. 01这篇论文试图解决什么问题？

   主动敌手能否在被动安全MPC训练中实施有效攻击且几乎不被检测？

   核心问题：被动安全（passively secure）的MPC机器学习训练协议在主动敌手（active adversary）面前是否足够安全？ 作者认为，认为主动作弊容易被检测、因而被动安全够用的观点，在隐私保护机器学习（PPML）训练中不成立。

   • 场景与重要性：MPC让数据所有者在合并数据上训练模型并保护数据隐私，但主动安全协议计算与通信开销更大，因此大量MPC ML研究与实现框架只考虑被动敌手（引言）。
   • 现有辩护的不足：一种常见辩护是主动敌手的攻击会造成明显偏离（如测试精度下降），一旦被发现会带来声誉损失。作者称这一辩护不成立：主动敌手可以实现多种恶意行为而不被检测。
   • 威胁模型：
     • 目标：破坏模型完整性（投毒、公平性）或隐私（成员推断、训练数据重构），同时保持隐蔽。
     • 知识：敌手无法读取秘密共享的模型参数与输入数据；加法错误ϵ必须独立于秘密共享的x、y选择。
     • 能力：主动敌手，聚焦加法攻击（additive attacks）——在秘密共享乘法x·y中注入选定的加法错误ϵ；作者称这类攻击适用于几乎所有被动协议。
     • 受害系统：被动安全的MPC训练协议，训练logistic regression、SVMs与神经网络，采用外包MPC设定。
   • 论文贡献：作者提出针对比较与多种激活函数的低层攻击（Section 3），组合成梯度置零、梯度平移、梯度缩放三种高层策略（Section 4），并实例化为投毒、成员推断放大、训练数据重构与公平性攻击（Section 5）。

   收起这一问

2. 02有哪些相关研究？

   相关工作涵盖被动安全MPC ML协议、对抗机器学习（投毒与成员推断）及MPC上的主动攻击。

   被动安全MPC ML协议与框架

   • Mohassel and Zhang（SecureML）、Wagh et al.（SecureNN、Falcon）、Keller and Sun等——大量MPC ML训练与推理工作只考虑被动敌手；Sharemind、PySyft、CrypTen、CryptGPU等实现框架也只抵御被动敌手（引言）。
   • Keller and Sun [4]、Knott et al. [16]、Tan et al. [17]——直接近似sigmoid与softmax中的指数与除法，是本文低层攻击的对象之一。

   对抗机器学习：投毒

   • Biggio et al.、Jagielski et al.——可用性（availability）投毒，破坏模型精度，作者称这类攻击易被检测。
   • Gu et al.（BadNets）、Chen et al.——后门攻击；Suciu et al.、Shafahi et al.、Jagielski et al.——定向投毒，只影响少量目标样本。
   • Bagdasaryan et al.、Bhagoji et al.——联邦学习中的模型投毒（直接改梯度）；论文指出这些工作都知道模型参数，而本文的梯度平移必须在参数未知下进行，这是关键区别。

   对抗机器学习：隐私攻击

   • Shokri et al.、Yeom et al.——成员推断（MI）；Carlini et al.（LiRA）、Ye et al.——按样本难度校准损失的最先进MI，本文改造offline LiRA用于攻击评估。
   • Carlini et al.、Balle et al.——重构攻击；Boenisch et al.——联邦学习中利用第一层梯度是输入的标量倍做重构，本文重构攻击借用这一性质。

   MPC上的主动攻击与防御

   • Lehmkuhl et al.（Muse）——考虑推理时的主动敌手，用加法攻击窃取服务器模型权重；本文针对训练阶段。
   • Chaudhari et al.（SafeNet）——设计MPC协议缓解输入级数据投毒与隐私攻击。

   定位：作者称据其所知，他们是第一个考虑在MPC中由主动敌手攻击ML训练的工作（Section 2.5）。本文无传统意义上的基线方法对比，实验以"无攻击"为对照，在FMNIST、Census、Purchase、Texas四个数据集上评估。

   收起这一问

3. 03论文如何解决这个问题？

   用加法攻击操纵激活函数，组合成梯度置零/平移/缩放三种策略，再实例化为各类攻击。

   整体思路：主动敌手利用被动协议在乘法处可注入加法错误ϵ的弱点，先操纵安全比较与激活函数（低层攻击），再组合成三种高层梯度操纵策略，最后实现投毒、隐私与公平性攻击。所有操纵必须不依赖秘密共享的数据与权重。

   低层攻击：激活函数操纵（Section 3，Table 1）

   • 安全比较：比较电路只有单个输出位，敌手向最后一个AND门注入错误即可翻转结果；若输入是乘法结果，可加大常数偏移强制输出0或1。
   • ReLU：翻转比较可把结果变为min(0, x)；输入加∆强制输出x+∆、减∆强制输出0（输入修改沿用Lehmkuhl et al. [42]）。
   • 分段线性sigmoid：篡改两次比较可使0和x+1/2分支输出1、1分支输出0；结合输入偏移可输出越界值x±∆。
   • 直接sigmoid/softmax：两者最终都是乘法输出，可直接加任意错误；输入修改可强制one-hot输出；Newton-Raphson迭代（n=10）与极限近似指数（n=8）中的乘法也可被攻击。

   高层策略（Section 4）

   • 梯度置零（Gradient Zeroing）：把样本梯度尽量置0，等效于把该样本从该步训练中移除。神经网络可强制所有ReLU输出0（末层偏置除外）；SVM可向y·D加大错误强制梯度为0；作者称logistic regression不知如何实现。
   • 梯度平移（Gradient Shifting）：对由乘法算出的权重梯度第i项加错误vi，使梯度g变为g+v；只适用于权重梯度，不适用于偏置梯度。
   • 梯度缩放（Gradient Scaling）：利用所有梯度都被损失导数F缩放这一性质，强制sigmoid/softmax输出任意值来缩放梯度；只能鼓励对固定类别的强预测，不能放大或取反梯度。

   攻击实例化（Section 5）

   • 参数迁移（Parameter Transfer）：敌手在自己的数据上训练参考模型、算出投毒梯度gp，再用梯度平移把它注入协议，解决参数未知的问题；用于线性模型的后门与定向投毒。
   • 神经元覆写（Neuron Override）：对两层ReLU网络，向第一个神经元的输入权重加δ−cµ的平移（δ为触发方向、µ为非目标数据均值、c为权衡超参数），并把该神经元到目标类的第二层权重平移一个大的正值；灵感来自Hong et al. [53]的手工后门。
   • 成员推断放大：梯度缩放把任意样本强制预测为随机目标类，使其成为类似误标注的"离群"样本，再适配offline LiRA [36]（影子模型不缩放，按缩放目标类衡量偏差）做推断。
   • 训练数据重构：对最后一个批次中的单个样本用缩放因子10000，使第一层权重近似为输入的标量倍，再 rescale 恢复样本；作者称此攻击不隐蔽。
   • 公平性攻击与投毒放大：梯度置零或缩放使某参与方数据不贡献或被误分类；与恶意数据贡献者串通时，缩放投毒样本的梯度以放大投毒。

   模拟器与实现

   • 作者用Jax在浮点数上构建明文MPC"模拟器"，实现MPC友好的近似（如SecureML式sigmoid），用custom_vjp替换梯度，允许敌手在相应计算步骤注入操纵；实验在单张P100 GPU上运行。作者计划公开实现代码。

   收起这一问

4. 04论文做了哪些实验？

   明文模拟实验显示：投毒ASR最高1.0000，MI的TPR最高提升40倍，重构误差0.017。

   实验设置

   • 被测模型：softmax/sigmoid-based logistic regression（LR）、两层神经网络（NN，公平性实验隐藏层50个神经元）；SVM仅在方法层面讨论，无实验。
   • 数据集：FMNIST、Census、Purchase、Texas；后三者各取20000条作干净训练集、20000条给敌手训练集、20000条作测试集。
   • 训练：SGD，超参数在独立数据划分上网格搜索；公平性实验训练10轮、学习率0.001、批大小100。
   • 指标：Test accuracy、Attack Success Rate（ASR）、成员推断用低FPR下的TPR（置信区间p<0.01，宽度<0.26%）、重构用平均绝对误差。
   • 重复次数：投毒、公平性实验平均10次运行；重构攻击运行10次试验。
   • 评估方式：全部在Jax明文模拟器上进行，非真实MPC实现；无LLM评审。

   主结果

   投毒攻击（据 Table 3、Table 4，Test/ASR，10次平均）：

   表格较宽，可左右滑动

   攻击	数据集	模型	无攻击 Test	无攻击 ASR	攻击 Test	攻击 ASR
   参数迁移后门	FMNIST	LR	0.84	0.004	0.83	0.9996
   参数迁移后门	Texas	LR	0.61	0.006	0.61	1.0000
   参数迁移后门	Purchase	LR	0.70	0.000	0.70	1.0000
   参数迁移定向	FMNIST	LR	0.84	0	0.83	1
   参数迁移定向	Texas	LR	0.60	0	0.59	1
   参数迁移定向	Purchase	LR	0.70	0	0.67	1
   神经元覆写后门	FMNIST	NN	0.86	0.003	0.86	0.90
   神经元覆写后门	Texas	NN	0.58	0.01	0.57	1.00
   神经元覆写后门	Purchase	NN	0.55	0.000	0.51	1.00

   • 作者称参数迁移攻击在各目标上接近完全成功，精度平均下降不超过2.3%。
   • 作者称神经元覆写攻击成功率很高，测试精度下降不超过4%。

   成员推断放大（Section 5.3，Table 5）

   • 测了什么：梯度缩放（目标类固定为0）后offline LiRA的[email protected]%与1% FPR，对比不缩放。
   • 结果：缩放后[email protected]%分别为FMNIST/LR 4.8%（不缩放0.18%）、Texas/LR 76.0%（3.0%）、Purchase/LR 4.5%（1.9%）、FMNIST/NN 2.3%（0.2%）、Texas/NN 46.6%（0.8%）、Purchase/NN 6.0%（0.4%）。
   • 作者解读：作者称梯度缩放把TPR提升至少2倍、有时达20–40倍；精度影响常有限（FMNIST降0–2%），但Purchase上NN平均降8%；攻击成功率与精度可通过缩放强度权衡。

   训练数据重构（Section 5.4，Figure 2、Figure 3）

   • 测了什么：FMNIST上对LR与NN，缩放因子10000、目标类0，攻击最后一个批次中的随机样本，10次试验。
   • 结果：重构与原图的平均绝对误差LR为0.017、NN为0.036；作者称视觉上几乎与原图一致。
   • 例外：作者明确称此攻击不隐蔽——模型精度降至10%（随机猜测水平）。

   公平性与投毒放大（Section 5.5、5.6，Table 6、Table 7）

   • 公平性：Census上按CA、OK、OR、WA、WI五州模拟五方（每方1000条），敌手针对CA。NN+梯度缩放（强度2，目标类1）使CA准确率从0.724降至0.652（降7.2%），其他州平均从0.737降至0.710（降2.7%）；LR+缩放从0.748降至0.673；NN+置零从0.75降至0.714。作者称攻击对目标子群体造成不成比例的影响。
   • 投毒放大：定向投毒（每目标2–10条翻转标签样本，softmax目标类平移-2到-5）加缩放后ASR上升，如Texas/LR从0.08升至1、Texas/NN从0.28升至0.94；但FMNIST/NN精度从0.86降至0.75、Purchase/NN从0.54降至0.41。作者称放大后门投毒会导致模型不准，故只报告定向投毒。

   其他消融与分析

   • 可用性攻击（Table 8）：参数迁移加小幅度平移，FMNIST/LR精度从.836降至.717，Texas/LR从.605降至.565；作者称改用更大平移可加大降级。
   • 缓解分析（Section 6）：作者称FMNIST上的梯度平移投毒共修改约150万次乘法，若抽查比例α<2·10⁻⁵仍能以>1−2⁴⁰概率抓到敌手；但作者称攻击未优化错误数量，可能用少几个数量级的错误仍有效。
   • 公平性实验设置：作者称结果在更高度non-iid设定下应只会更好。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出浮点模拟与小模型两点局限，并提出中间地带协议、理论刻画等后续方向。

   作者指出的局限与后续方向

   • 浮点而非定点算术：作者写道一个局限是使用浮点算术而非定点，但作者认为这不会显著影响结论（Limitations，Section 7）。
   • 仅限小模型：实验限于小模型；作者称因MPC训练成本高，文献也多用很小的模型，并预期攻击可泛化到更大模型（Limitations，Section 7）。
   • 更强的协议特定攻击：作者称本文只用加法攻击以保证广泛适用，更强的协议特定攻击是未来工作（Section 2.2）。
   • 中间地带协议：作者希望推动介于被动与主动安全之间、防御明确定义攻击类别的协议设计；并强调所提缓解可能被自适应攻击绕过，需要更仔细分析（Section 6、7）。
   • 理论问题：作者提出一个未来理论问题——刻画是否存在更大一类在被动设定下隐私可被完全破坏的功能函数（Section 7）。
   • 加法错误威胁模型本身：作者认为加法错误威胁模型值得对抗ML社区更深入地研究，包括提升攻击有效性与隐蔽性、理论理解（Section 7）。

   实验覆盖范围

   • 被测模型为softmax/sigmoid-based logistic regression与两层神经网络共两类；SVM仅在方法层面分析，无实验结果（Section 5）。
   • 数据集为FMNIST、Census、Purchase、Texas四个；Census/Purchase/Texas各取20000条训练、20000条敌手数据、20000条测试（Section 5）。
   • 全部实验在Jax明文模拟器上进行，未在真实MPC协议实现上运行；实验使用单张P100 GPU（Section 5）。
   • 投毒与公平性实验平均10次运行，重构攻击10次试验；成员推断报告p<0.01置信区间（Section 5.1、5.3、5.4、5.5）。
   • 论文未报告真实MPC协议上的运行时开销，也未报告所提缓解措施的实验评测（Section 6仅为设计思路）。

   收起这一问

6. 06总结一下论文的主要内容

   作者称被动安全MPC训练可被主动敌手隐蔽攻击，投毒、隐私与公平性均可被破坏。

   一篇针对被动安全MPC机器学习训练的攻击论文，质疑"主动作弊易被检测、被动安全够用"的常见辩护。

   • 问题：MPC训练协议多为被动安全设计，依赖声誉风险威慑主动敌手；作者称主动敌手可以在几乎零检测风险下破坏模型完整性与隐私。
   • 方法：聚焦加法攻击——在秘密共享乘法中注入与数据无关的加法错误。低层上操纵安全比较与ReLU、sigmoid、softmax等激活函数；高层上组合成梯度置零、梯度平移、梯度缩放三种策略；再实例化为参数迁移投毒、神经元覆写、成员推断放大、训练数据重构与公平性攻击，全部在Jax明文模拟器上验证。
   • 投毒结果：参数迁移后门在Texas/Purchase的LR上ASR达1.0000，神经元覆写在Texas/Purchase的NN上ASR达1.00，测试精度下降分别不超过2.3%与4%（Table 3、4）。
   • 隐私结果：梯度缩放把成员推断[email protected]%FPR最高提升至76.0%（Texas/LR，不缩放为3.0%）；重构攻击在FMNIST上平均绝对误差0.017（LR）/0.036（NN），但会使精度降至10%，作者明确称其不隐蔽（Table 5、Figure 2–3）。
   • 公平性结果：对Census五方设定中目标州CA，NN+梯度缩放使其准确率下降7.2%，其他州仅降2.7%（Table 6）。
   • 作者结论：作者称结果挑战了被动安全在PPML中够用的观点，主张训练应采用主动安全协议，并提出主动安全sigmoid/softmax、抽查部分乘法等中间地带缓解思路，同时强调自适应攻击可能绕过这些缓解。

   收起这一问

相关论文