神经网络的密码学后门：利与弊

1. 01这篇论文试图解决什么问题？

   签名后门并联于分类器，既能改预测，也能做水印、认证和IP追踪。

   核心问题是：数字签名后门能否既在图像分类上做黑盒攻击，又做水印、认证和知识产权追踪。

   • 场景：作者称机器学习即服务（MLaaS）把训练外包后，在线部署的深度网络面临隐私与知识产权风险；已有工作用后门做水印，也用指纹保护模型。
   • 不足：作者称多数黑盒水印改网络本身，影响主任务，微调后可能消失。Goldwasser等人给出密码学假设下不可检测的签名后门，但应用场景仍待探索，且没有实证开销。
   • 做法：把签名验证电路与分类器并联，不改训练。作者将其用于图像分类攻击，以及水印、推理认证和未授权分享追踪，并称协议对黑盒对手鲁棒，而攻击在标准假设下无法阻止。
   • 威胁模型：
     • 攻击：外包训练。用户提供D_train和训练配置；训练方交回分类器，不能访问D_valid。D_valid准确率须高于某阈值，论文未给数值。Effectiveness：带触发的预测不同于干净模型M_θ*。Stealthiness：无触发时输出相近，从而通过验收。
     • 水印：对手通过恶意软件或内部人员窃取模型并提供同类服务。所有者查询触发集D_wm，准确率高则主张所有权。
     • 认证：授权用户必须提供自己的签名密钥，才得到分类器的真实预测；否则输出来自验证电路。
     • IP追踪：多用户部署。每位用户有所有者签发的签名。作者设定只有匹配的签名能在对应用户的触发数据上表现好，从而把泄露追溯到该用户。

   收起这一问

2. 02有哪些相关研究？

   相关工作覆盖训练期后门、后门水印，以及Goldwasser等人的签名后门。

   引言和Section I-B把相关工作分成后门、水印和密码学三条线。

   训练期与植入式后门

   • BadNets [9]在样本中加入可见触发并改标签。Chen等人[11]使用更难检出的不可见触发，并减少投毒样本，以保住良性功能。
   • [12]、[13]不改毒样本标签。后门也可植入预训练模型[14]、[15]，或在迁移学习中植入[16]、[17]。
   • Hong等人[18]不使用常规投毒，而是直接改权重。论文将其描述为不留下可能影响良性性能的痕迹。

   后门水印与指纹

   • Adi等人[1]和Zhang等人[19]被论文称为最早的两种后门水印：用触发集上的输出作为所有权依据；触发可以是特定图案、无关样本或扰动，并改标签。
   • 其后的鲁棒性工作包括随机平滑[2]、纠缠水印[4]和对抗参数扰动[3]。引言把指纹[5]–[8]列为另一类知识产权保护，正文没有展开各篇做法。

   密码学与神经网络

   • 论文称密码学处理离散比特、深度学习处理实数映射，因此两边联结很少[20]。
   • Goldwasser等人[10]（FOCS 2022）用数字签名构造后门，并定义黑盒与白盒不可检测。论文称应用场景仍待探索，且[10]没有给出实证开销。
   • Draguns等人[21]与Kalavasis等人[22]（Neural Information Processing Systems，2024）把这一想法用到语言模型。论文只说明它们受[10]启发，没有做数值对比。

   实验对照

   • 对照是干净模型的测试准确率，以及签名位置错误或密钥无效时的准确率（Table I、Table II）。数据为CIFAR-10、ImageNet，触发样本来自MNIST。论文没有把[1]–[4]当作数值基线复现。

   作者把该工作放在[10]之后：接到图像分类，并实现水印、认证和IP追踪。作者称这是第一次把密码学后门直接连到对抗攻击。相对改参数的水印，作者强调验证电路与分类器并联，因而不随参数更新而消失。

   收起这一问

3. 03论文如何解决这个问题？

   分类器与签名验证电路并联，验证通过才改输出，训练过程不改。

   整体做法是把数字签名验证电路与分类器并联，不改训练：抽出的消息—签名对若验证有效，就用验证分支改写输出。

   不可检测后门的设定

   • 任意输入被看成消息—签名对，论文记为x=(w, σ)。激活后的输入必须接近原输入。论文沿用的距离条件是|x−x′|_n<ϵ，并要求后门模型在这两处的输出不同。
   • 黑盒不可检测指：只有预言机访问时，计算上可行的区分者分不清干净模型与后门模型。白盒不可检测还要求看到参数、架构和训练数据也分不清。摘要写的是：水印、认证和IP追踪抵抗黑盒访问的对手。
   • Theorem II.1：若存在强不可伪造的数字签名，则对每个训练过程都存在不可复制的后门。论证写成：没有签名私钥仍能对新的验证密钥造出有效签名，就等于伪造。

   图像分类上的攻击

   • 完整模型由主任务网络和并行验证电路组成（Figure 1、Algorithm 1）。实验用LSB隐写，把消息和签名印在预定像素位置，再由解码器送入验证器。
   • 消息由攻击者指定的文本和图像真实标签拼成，再用私钥签名。验证有效时，验证分支替换网络预测；实现是把当前预测类与由该标签导出的另一类交换。无效则保持原预测。
   • 作者给出的理由：没有私钥就造不出有效的消息—签名对；黑盒访问且没有后门样本时不会注意到后门；不改训练，所以不靠投毒去动良性性能。
   • 公钥不正确时后门不激活。作者假设攻击者能拿到原始、未处理图像。

   水印

   • 所有者持有私钥，审计员持有触发样本、签名和触发标签（Figure 2）。触发样本被故意标错，只有验证通过时才按该错标输出。
   • Lemma IV.1把黑盒查询写成：密钥不是sk时y=f(x)，是sk时改由验证器给出。作者据此称，不知sk的黑盒查询者看到的输出与未加水印的分类器不可区分。
   • Remark IV.2称强不可伪造签名下水印不可复制。Lemma IV.3称水印对分类器参数的任何修改都保持，因为签名、验证和激活都不读分类器参数。
   • 作者写明此水印防不住蒸馏或模型提取，可用查询限制或下一节的认证来对付。摘要另称，防御相关证明还需进一步研究。

   认证与泄露追踪

   • 认证（Figure 3）：推理时必须提交签名密钥。实现对每个batch的第一张图编码成消息并签名；验证通过则采用网络预测，否则输出被换成作者所称的垃圾结果。作者称这使没有密钥的一方更难提取或蒸馏目标网络。
   • IP追踪（Figure 4）：为每个用户单独存触发集会随用户变多而不省存储。作者改用一个触发集，按用户密钥用HMAC分配标签，再映射到类别。作者要求该分配确定、随密钥唯一，且没有密钥时不能伪造。
   • 判定方式：发给用户i的副本只在其标签集L_i且提供sk_i时触发准确率高；换成其他用户的标签集则低。所有者用这一差异追溯泄露。
   • 防御实验的签名验证用后量子方案Dilithium2，标签哈希为HMAC-SHA-256。攻击实验另行使用Ed25519，并在ImageNet上使用Dilithium2。

   收起这一问

4. 04论文做了哪些实验？

   ResNet-18上，CIFAR-10有效触发后测试准确率为0.80%，水印σvalid为100.00%。

   实验设置

   • 模型：攻击准确率在ResNet-18上测量。推理时间另测ResNet-50与ResNet-152。Section V-B写明全部防御实验使用ResNet-18；作者称结果可推广到其他模型，论文没有给出那些模型的防御数字。
   • 数据：CIFAR-10与ImageNet。ImageNet在植入前缩放到224×224，CIFAR-10为32×32。水印和IP追踪的触发集是MNIST随机100张，按任务缩放到32×32或224×224。论文未报告两个主任务测试集的条数。
   • 密码组件：攻击签名为Ed25519，论文写其签名64字节（512比特）。Dilithium2签名2420字节（论文写约19K比特）；作者称相对CIFAR-10的3072个像素放不下，因此CIFAR-10不测它，只在ImageNet攻击中使用。防御的签名验证用Dilithium2，标签用HMAC-SHA-256。
   • 指标与对照：% Test Accuracy与% Trigger Accuracy。IP追踪给出均值、按95%置信区间计算的误差范围和最大值。对照是干净模型，以及错误嵌入位置、无效签名或无效密钥。论文未写评审模型、人工一致性、重复次数或查询次数。
   • 攻击前提：作者假设对手能接触原始、未处理图像。验证要用正确公钥，否则按平常方式输出。验收阈值在威胁模型中出现，论文未给数值。

   主结果

   Table I为ResNet-18的攻击测试准确率。BBoxinvalid表示消息—签名嵌在错误位置，BBoxvalid表示嵌在有效位置。

   表格较宽，可左右滑动

   测试集	签名	Baseline	BBoxinvalid	BBoxvalid
   CIFAR-10良性	—	92.26%	未报告	未报告
   CIFAR-10后门	Ed25519	92.29%	92.29%	0.80%
   ImageNet良性	—	80.11%	未报告	未报告
   ImageNet后门	Ed25519	80.11%	80.11%	1.03%
   ImageNet后门	Dilithium2	80.11%	80.11%	1.03%

   • 作者称有效位置且验证通过时，后门破坏分类功能；哪怕只错一个像素也不能触发，此时准确率与该后门测试集上的干净结果相同。作者称Figure 5中良性样本与后门样本没有可察觉差异。
   • CIFAR-10良性集Baseline为92.26%，后门集Baseline为92.29%，正文未解释这一差值。ImageNet上两种签名的三列数字相同。
   • 作者称黑盒使用中、没有后门样本时不会注意到后门，且训练本身未被改动。

   水印、认证与IP追踪

   Table II，模型为ResNet-18。水印行是触发准确率，认证行是测试准确率，追踪行是触发准确率。追踪按100个用户模拟。Table II另列主任务测试准确率：CIFAR-10为92.26%，ImageNet为80.11%。

   条件	CIFAR-10	ImageNet
   水印σinvalid / σvalid	14.00% / 100.00%	0.00% / 100.00%
   认证skinvalid / skvalid	9.91% / 92.26%	0.09% / 80.11%
   追踪，自己的标签集	100.00%±0.00	100.00%±0.00
   追踪均值，他人标签集	10.04%±0.06	0.10%±0.01
   追踪最大，他人标签集	23.00%	2.00%

   • 作者称只有持有有效签名集的审计方能在触发分类上得到其所称的完美准确率，没有有效签名则得不到好的准确率。两个数据集的σinvalid并不相同，正文没有分开解释。
   • 作者称没有有效密钥时输出不可用。skvalid一列与Table I的良性Baseline数值相同。
   • 作者称他人标签集上的结果低，最高值远不是完美准确率，并据此称该构造可以追踪用户访问。误差范围按95%置信区间计算。

   推理时间

   • Figure 6比较干净推理与后门激活后的推理，模型为ResNet-18、ResNet-50、ResNet-152。正文明确写出的倍数只有一处：ImageNet上Dilithium2的签名与消息解码，在ResNet-18上最多比良性推理长25.8倍。
   • 作者称模型越大，解码的相对开销越轻，因为推理本身更长。CIFAR-10只比较了Ed25519。作者认为开销主要来自图像中的解码，并认为更合适的隐写或并行化可以减轻。
   • 论文未报告查询次数，也未给出绝对墙钟时间。

   其他消融与分析

   • 错误像素位置的结果已在Table I：与对应后门测试集的Baseline相同，作者称因此不能触发。
   • 论文没有再报告独立的超参数扫描或去掉某个组件的消融。

   收起这一问

5. 05有什么可以进一步探索的点？

   作者指出解码开销和黑盒访问要求，并计划把方案扩到白盒。

   作者指出的局限与后续方向

   • 后门攻击中，后门解码的计算开销相当大（Section VI）。
   • 这些应用要起作用，严格要求黑盒访问（Section VI）。
   • 作者相信，并行计算或更合适的隐写、数字水印技术有助于把开销降下来（Section VI）。
   • 作者计划把这些方案扩展到白盒情形（Section VI）。
   • [10]的白盒不可检测后门只适用于用Random Fourier Features学习范式训练的模型；作者称该范式并不总贴合现代ML，值得继续探索（Section VI）。

   实验覆盖范围

   • 攻击准确率在ResNet-18上报告，数据集为CIFAR-10与ImageNet；运行时间还包括ResNet-50与ResNet-152（Section V-A，Table I，Figure 6）。
   • 水印、认证和IP追踪的准确率均在ResNet-18上报告；触发样本为MNIST的100张；IP追踪按100个用户模拟（Section V-B，Table II）。
   • 攻击签名包括Ed25519，ImageNet另包括Dilithium2。作者说明Dilithium2签名长于CIFAR-10可嵌入的像素量，因此不在CIFAR-10上使用。防御验证使用Dilithium2，标签使用HMAC-SHA-256。
   • 论文给出了有效与无效签名或密钥下的准确率，以及IP追踪均值的95%置信区间误差范围；未报告测试集条数、重复次数和查询次数。
   • 水印对参数修改的持久性写在Lemma IV.3；Section IV-A讨论了蒸馏与模型提取。论文未报告微调、蒸馏或提取攻击下的实测准确率。

   收起这一问

6. 06总结一下论文的主要内容

   并联签名验证兼作攻击与水印、认证、IP追踪；触发后准确率可降到0.80%。

   并联的数字签名验证电路被同时用于图像分类后门，以及水印、认证和知识产权追踪。

   • 问题：外包训练方可以交回带隐藏行为的分类器；所有者还需要核验所有权、谁能拿到真实推理结果，以及模型是从哪位用户泄露的。
   • 做法：分类器与验证电路并联，不改训练。隐写嵌入消息—签名对，验证有效才改写输出。水印故意标错触发样本；认证用密钥决定输出是否来自分类器；追踪对同一触发集按用户密钥分配标签。论证依赖强不可伪造签名，并针对黑盒访问。
   • 攻击：ResNet-18上，有效位置时CIFAR-10测试准确率为0.80%（Ed25519），ImageNet为1.03%（Ed25519与Dilithium2）；错误位置时为92.29%与80.11%（Table I）。
   • 防御：有效签名的水印触发准确率在CIFAR-10与ImageNet上都是100.00%。无有效密钥时，认证测试准确率为9.91%与0.09%。100个用户中，错误标签集的平均触发准确率为10.04%±0.06与0.10%±0.01，最高23.00%与2.00%（Table II）。
   • 作者结论：作者称这些构造可以核验所有权、把真实输出限制在持有密钥的用户，并把副本对应到一个密钥。正文写明ImageNet上Dilithium2、ResNet-18的解码最多比良性推理长25.8倍。作者同时写明解码开销和黑盒要求仍在，并计划做白盒扩展；摘要称攻击在标准假设下无法阻止，防御证明还需进一步研究。

   收起这一问

相关论文