跳到正文
原文

对神经网络模型的密码分析式提取

Cryptanalytic Extraction of Neural Network Models

arXiv· arXiv:2003.04884· CRYPTO· Nicholas Carlini, Matthew Jagielski, Ilya Mironov·本站收录· 16 天前· 原文发表入选 攻击精选关注度41

论文速读

据论文全文整理（AI 生成），以原文为准

AI 导读研究者 Nicholas Carlini、Matthew Jagielski 与 Ilya Mironov 提出把神经网络模型窃取视为密码分析问题，并给出一种差分攻击，仅凭黑盒查询即可将远程 ReLU 神经网络的参数还原到浮点精度。

问题
在只有黑盒查询访问、无时序等侧信道的设定下，能否从 oracle 中提取出与目标神经网络功能等价的完整参数；这关系到模型保密、预测 API 与 secure inference 的安全性。
方法
把模型提取类比为分组密码的密码分析，利用 ReLU 网络是分段线性函数：在神经元临界点附近做二阶有限差分，逐层恢复权重与偏置，再剥离该层继续攻击下一层；并针对浮点精度、隐藏层状态控制和行符号恢复设计数值稳定与查询复用技术。
实验与结果
在多种全连接网络上评估，提取精度比先前工作高约 220 倍、查询少约 100 倍；例如对 MNIST 上 100,000 参数网络用 2^21.5 次查询在不到一小时内提取，最坏误差 2^-25，另有 4,000 参数网络以 2^18.5 次查询达到 2^-40.4 的最坏误差。
局限与可以继续做的
攻击依赖已知架构、全定义域输入、完整输出、64 位浮点精度、标量输出和 ReLU 激活；行符号恢复在一般情形需指数级计算，部分网络无法在十次尝试内恢复。作者未研究防御，并指出检测攻击、加噪或只返回标签即可破坏该攻击；放宽假设、降低计算与查询复杂度留作未来工作。
AI 导读和推荐理由攻击利用 ReLU 网络分段线性的性质，在神经元临界点处用二阶方向导数逐层恢复权重。实验中提取的模型比此前工作精度高 2^20 倍、所需查询少 100 倍，例如对在 MNIST 数字识别任务上训练的 100,000 参数网络，2^21.5 次查询、不到一小时即可提取，最坏情况误差为 2^-25，4,000 参数模型需 2^18.5 次查询、误差 2^-40.4。

研究者 Nicholas Carlini、Matthew Jagielski 与 Ilya Mironov 提出把神经网络模型窃取视为密码分析问题，并给出一种差分攻击，仅凭黑盒查询即可将远程 ReLU 神经网络的参数还原到浮点精度。攻击利用 ReLU 网络分段线性的性质，在神经元临界点处用二阶方向导数逐层恢复权重。实验中提取的模型比此前工作精度高 2^20 倍、所需查询少 100 倍，例如对在 MNIST 数字识别任务上训练的 100,000 参数网络，2^21.5 次查询、不到一小时即可提取，最坏情况误差为 2^-25，4,000 参数模型需 2^18.5 次查询、误差 2^-40.4。

推荐理由作者将模型窃取视为密码分析问题，提出的差分攻击比此前工作精度高 2^20 倍、查询少 100 倍。

相关热点

0 个事件 · 2 条新闻提到

提到这篇论文的新闻

阅读原文CRYPTO