跳到正文
原文

机器学习模型不是密码:功耗分析提取权重比想象中更难

ML Models Are Not Ciphers: Power Analysis for Weight Extraction Is Harder Than You Think

arXiv· arXiv:2611.12532· Mohammed Qaiss, Peter Horvath, Michal Shagam, Lejla Batina, Zhuoran Liu, Eyal Ronen, Mahmood Sharif, Yuval YaromTel Aviv University; Radboud University; University of Amsterdam; Ruhr University Bochum本站收录· 9 天前· 原文发表攻击

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者用无噪声仿真分析 CPA 提取 DNN 权重,称 AES 不到 10 条轨迹即可恢复,而 8 层 CNN 需 5,000 条、ResNet-18 用 200,000 条仍失败。

威胁模型攻击者拥有对目标设备的无限制物理访问(unfettered physical access),已知目标 DNN 的确切架构,目标是恢复模型权重;论文用无噪声仿真假设攻击者能直接观察泄漏模型输出,另设加高斯噪声的实验。

问题
近期工作把 DNN 当密码实现用 CPA 提取权重,但只恢复浅层少量权重。作者质疑这种直接套用,研究完整提取训练好的深层模型面临哪些本质挑战。
方法
构建基于 HW/HD 泄漏模型的仿真框架,在无噪声和加噪条件下做逐权重、逐层的顺序 CPA 提取,分析浮点运算与数据熵下降带来的困难,并提出符号校正、自适应感受野等策略。
实验与结果
无噪声下 AES 不到 10 条轨迹可恢复,8 层 CNN 需 5,000 条,VGG-11 需 20,000 条,ResNet-18 用 200,000 条仍失败;近似模型用少量轨迹即可达基线精度;真实噪声水平下第一层提取即失败。
局限与可以继续做的
作者称现有技术难以扩展到 GPT-3 等更大模型,真实噪声下攻击在第一层即失败,认为需要全新攻击技术;整数运算模型的提取难度留作未来工作。实验为仿真,未做真实物理测量。
实验设置CNN、VGG-11 等 · CIFAR-10、CIFAR-5M · bitwise accuracy、test-set accuracy 等
被测模型
CNNVGG-11ResNet-18EfficientNet-B0
基准
CIFAR-10CIFAR-5M
指标
bitwise accuracytest-set accuracyextraction error probabilitycollision rateASR
AI 导读研究质疑将机器学习模型视为密码、用功耗分析提取全部权重的思路,指出完整网络权重恢复比已有概念验证所显示的更难。作者假设一个无噪声、可直接观测泄漏模型输出的强侧信道对手,仍发现模型与密码实现存在两点关键差异:模型多用有限精度浮点运算和低扩散线性操作,并且随计算推进降低数据熵而非增加熵。这些特性使深层权重恢复往往需要异常多的迹线。研究目标是完整训练且可工作的网络,而不是仅恢复浅层少量权重或未训练网络。

研究质疑将机器学习模型视为密码、用功耗分析提取全部权重的思路,指出完整网络权重恢复比已有概念验证所显示的更难。作者假设一个无噪声、可直接观测泄漏模型输出的强侧信道对手,仍发现模型与密码实现存在两点关键差异:模型多用有限精度浮点运算和低扩散线性操作,并且随计算推进降低数据熵而非增加熵。这些特性使深层权重恢复往往需要异常多的迹线。研究目标是完整训练且可工作的网络,而不是仅恢复浅层少量权重或未训练网络。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    作者质疑把 DNN 当密码实现做 CPA 提取的假设,分析完整提取训练好的深度模型为何困难。

    核心问题:基于功耗分析(CPA)的侧信道攻击能否完整恢复训练好的深度神经网络的全部权重,其本质困难是什么。

    • 场景与动机:训练好的 DNN 权重是有价值的知识产权;模型被部署到 edge GPU(如 NVIDIA Jetson 类设备)上,权重不通过接口暴露,但设备在不可信用户手中,给物理侧信道攻击创造了机会。
    • 现有工作的不足:作者称,已有 CPA 提取工作只在玩具例子或更大模型的前两层上展示可行性,针对的多是随机初始化的未训练模型,且忽略误差传播;据作者所知,没有先前攻击演示过对真实深度、训练好的模型做全层提取。
    • 核心观察:作者认为 DNN 与密码实现有两点本质差异——DNN 用有限精度浮点和低扩散线性运算,且逐层降低数据熵,这两点都妨碍 CPA 区分权重候选。
    • 论文的贡献:一套基于 HW/HD 泄漏模型的仿真框架;对非随机模型结构和浮点运算带来的挑战的量化分析;近似提取(达到良性精度、用于对抗样本迁移)的可行性;以及噪声对提取影响的实验。
    • 威胁模型:
      • 目标:恢复目标 DNN 的权重(精确恢复或功能等价的近似恢复)。
      • 知识:攻击者已知目标模型的确切架构(作者称架构通常公开或易推断)。
      • 能力:对目标设备的无限制物理访问(unfettered physical access);主实验假设能直接观察泄漏模型输出、无附加噪声的 unrealistically strong 攻击者,第 8 节加入合成高斯噪声。
      • 受害系统:部署在 edge 设备上、以 float16 推理的 CNN/VGG-11/ResNet-18/EfficientNet-B0。
  2. 有哪些相关研究?

    相关工作分三类:对 DNN 的物理侧信道提取、黑盒密码分析式提取、以及密码学侧信道基础。

    对 DNN 的物理侧信道攻击

    • CSI-NN(Batina 等,2019)——通过 EM 侧信道逆向 MLP 和 CNN 的架构与权重;后续工作扩展到 FPGA(Yoshida 等 2020、Li 等 2022、Dubey 等 2020、Yli-Mäyry 等 2021)和 GPU(BarraCUDA,Horváth 等 2025;Kraken,Horváth 等 2026)。
    • 作者指出这些工作一般只在小模型的浅层恢复少量权重,或假设前面层的权重已知(Kraken);BarraCUDA 针对的是随机初始化模型并使用随机输入,本文第 4 节专门质疑这两点。
    • 架构提取方向(DeepSniffer、DeepEM、DeepTheft 等)只恢复层类型、激活函数、超参数等,不恢复权重。

    黑盒密码分析式提取

    • Carlini 等(2020)、Martinez 等(2024)、Carlini 等(2025)——利用 ReLU 网络的分段线性结构经 oracle 访问做多项式时间提取。作者指出这些攻击依赖高精度(通常 64 位浮点)且只针对较小的 contracting/ReLU 架构,不适用于本文 16 位浮点的非 contracting 卷积模型。
    • Coqueret 等(2026)——用分治加物理侧信道 oracle 提取非全连接网络,但其 EM oracle 针对的是 ReLU 激活状态而非直接用 CPA 提取权重。

    密码学侧信道基础

    • Kocher(1996)、Kocher 等(1999)的计时与差分功耗攻击,以及 Brier 等(2004)提出的带泄漏模型的 CPA,是本文攻击方法的来源;HW/HD 泄漏模型也来自这一脉络。

    基线与基准:论文没有对比其他提取方法作为基线;对照对象是 AES(模拟对第一轮 S-box 的 CPA,作为一层、16 个权重);目标模型为 Holtz 的 CIFAR-10 CNN、VGG-11、ResNet-18、EfficientNet-B0,数据集为 CIFAR-10 和 CIFAR-5M。

    作者将本文定位为:不再把模型当"cipher",而是系统分析把密码学 CPA 直接套用到 DNN 时出现的、先前工作未观察到的挑战。

  3. 论文如何解决这个问题?

    用无噪声仿真做逐权重、逐层的顺序 CPA 提取,定位浮点与熵下降两类困难,再给出符号校正与自适应感受野等策略。

    整体思路:用基于仿真的完美信道(perfect-channel)框架把物理测量因素(干扰、对齐、设备差异)剥离,只研究 DNN 泄漏本身的本质限制;再在此框架上量化挑战、测试改进策略。

    仿真与攻击流程

    • 三步流水线(Figure 2):用已知的真实权重为数据集中每个样本生成模拟轨迹(对每个权重计算部分和并施加泄漏模型)→ 顺序 CPA 逐权重、逐层恢复 → 用测试集精度和 bitwise 准确率评估。
    • 泄漏模型:部分和按 zi+1 = wi · xi + zi(z0 = 0)递推;步骤 i 的泄漏为 HW(zi)(Hamming-weight)或 HW(zi−1 ⊕ zi)(Hamming-distance),两种模型都分析。
    • 顺序性:每个权重的假设部分和依赖先前已提取的权重和中间输入,因此任何提取误差都可能向后传播。
    • 候选空间:每个权重枚举约 [−5, 5] 内的 float16 候选,取与模拟轨迹 Pearson 相关最高的候选;相关值并列时取数值最大者以保持确定性。
    • 简化设定:每个卷积核只取一个固定感受野位置的值(沿用 BarraCUDA 的做法,第 7.2 节再改进);不提取 BatchNorm 的每通道 4 个浮点参数。

    挑战一:模型不是随机的(第 4 节)

    • 初始化影响:对比均匀 (−5,5) 随机权重、PyTorch 默认初始化和预训练权重三种模型,检验随机初始化模型是否有代表性。
    • 输入分布影响:对比五种输入集——均匀随机 (−1,1)、CIFAR-5M 低精度子集(模型精度 ≤13%)、完整 CIFAR-5M、CIFAR-5M 高精度子集(≥99%)、CIFAR-10 训练加测试集。

    挑战二:浮点运算(第 5 节)

    • 碰撞分析:统计正确权重与相邻候选(w ± ULP)产生相同泄漏值的比例,分别定位到乘法舍入和加法舍入;分析碰撞率与权重 significand 值、部分和指数差的关系。
    • 符号与指数歧义:分析 index 0 处指数歧义(附录 B.1)和非负输入下 w 与 −w 难以区分(附录 B.2)两类泄漏模型固有的歧义。

    改进策略(第 6、7 节)

    • 符号校正:对最后一层,用少量带标签样本检测某类持续误分类,翻转对应核的权重符号;对 VGG-11/ResNet-18,按下一层提取的相关值做逐核符号校正。
    • 自适应感受野(adaptive RF):利用同一权重在多个感受野被复用,为每个卷积权重选择对应不同输入值数量最多的感受野,替代固定感受野。
    • 部分提取的利用:把成功提取的前若干层保留,其余层重新初始化并微调,衡量达到目标精度所需训练数据和对抗样本迁移成功率。

    噪声实验(第 8 节)

    • 在模拟轨迹上加零均值高斯噪声(变化 σ),重复近似提取;并以 BarraCUDA 的物理测量为校准目标估计现实噪声对应的 σ。
  4. 论文做了哪些实验?

    无噪声下 CNN 需 5,000 条轨迹达基线、ResNet-18 用 200,000 条仍失败;现实噪声下第一层提取即失败。

    实验设置

    • 被测模型:Holtz 的 CIFAR-10 CNN(8 层、约 550K 权重、基线精度 84.45%)、VGG-11(11 层、约 9.7M、92.78%)、ResNet-18(21 层、约 11M、92.59%)、EfficientNet-B0(仅第 8.1 节);对照为 AES(模拟第一轮 S-box,16 个权重)。以上数字据 Table 1 和第 3.3 节。
    • 数据集:CIFAR-10(60,000 张)与 CIFAR-5M(5,000,000 张,分布对齐 CIFAR-10)。
    • 精度与环境:全部实验用 float16;Python 3.9 + PyTorch 2.4,单张 RTX 3090。
    • 指标:权重提取错误概率、bitwise accuracy、提取模型的 CIFAR-10 测试精度、碰撞率、PGD 对抗样本的 ASR。
    • 评审方式:无 LLM 或人工评审;bitwise 与精度均为程序化计算。
    • 重复次数:对抗迁移实验报 3 个独立训练模型的中位 ASR;其余实验论文未报告重复次数。

    主结果

    表格较宽,可左右滑动

    目标层数达基线精度所需轨迹(无噪声)出处
    AES(对照)1少于 10 条第 3 节、Figure 1
    CNN85,000 条(HD;HW 需 20,000)Figure 8
    VGG-11(自适应 RF)1120,000 条第 7.2 节、Figure 10a
    ResNet-1821200,000 条仍不足第 7.3 节、附录 D
    • 作者称,所需轨迹数随层数指数增长,而模型总权重数影响不大(Figure 1)。
    • 即使在无噪声下,CNN 用 150,000 条轨迹也无法做到全部权重 bitwise 精确提取,多个深层保持非零错误率(Figure 4b)。
    • 作者认为近似模型与精确模型在良性精度和对抗样本生成上功能等价:HD 下 5,000 条轨迹提取的模型即可达到白盒攻击水平的 ASR(Figure 15)。

    模型与输入分布的影响(第 4 节)

    • 测了什么:三种初始化(均匀随机、PyTorch 默认、预训练)× 五种输入分布下的逐层提取错误率,各 10,000 条轨迹。
    • 结果:两种随机初始化模型从 conv4 或 conv5 起错误率达 100%(Figure 3);均匀随机输入在几乎所有层错误率最高(conv2 例外),CIFAR-5M 低精度子集的错误率高于其他自然输入(Figure 4a)。
    • 作者解读:随机初始化模型的层输出发散或趋零、深层多样性下降,不代表训练好的模型;自然输入在深层产生更多样的输出,使攻击更容易(作者称之为假设)。

    浮点碰撞分析(第 5 节)

    • 测了什么:乘法、部分和、HW/HD 泄漏值在正确权重与 w ± ULP 之间的碰撞率(10,000 个输入、全部权重取平均)。
    • 结果:乘法碰撞率平均约 25%;部分和碰撞率从 index 1 的约 50% 随权重下标上升、接近 100%(Figure 6a);指数差超过 10(significand 位数)时必然碰撞(Figure 6b)。
    • 作者解读:HD 模型的碰撞概率低于 HW,因此提取更高效;部分和信息有限与低扩散线性浮点运算叠加,削弱了相关攻击的区分力。

    噪声下的提取(第 8 节)

    • 测了什么:CNN 上加不同 σ 的高斯噪声做近似提取;再以 BarraCUDA 设置为校准目标估计现实噪声。
    • 结果:σ=4 约需 200,000 条轨迹,σ=8 约需 400,000 条,σ=16 时约 800,000 条也不够(Figure 12a);校准得 σ=850 时,预训练 EfficientNet-B0 第一层 bitwise 准确率降至 33.9%,第二层仅 1.74%(12.24M 条轨迹,Figure 13);对 CNN 的同类实验第一层为 38.3%。
    • 作者解读:少量噪声使所需轨迹增加约两个数量级;按先前工作估计的现实噪声水平下,攻击在第一层即失败。

    其他消融与分析

    • 自适应 RF:VGG-11 用固定 RF 在 40,000 条轨迹下提取失败,自适应 RF 达到 92.78% 基线(Figure 10a);fc2 层 bitwise 准确率低是因为恒零输入的权重不影响推理(作者解释)。
    • 逐层轨迹需求(VGG-11):第 2 层 500 条、第 3 层 1,000 条、第 4 层 2,000 条、第 5 层 5,000 条(Figure 10b)。
    • 部分提取微调:提取层数越多,达到目标精度 ±1.1 个百分点所需的带标签 CIFAR-10 图像越少(预算上限 50,000 张),对抗迁移 ASR 越高(Figure 11)。
    • 误差传播:ReLU 与 BatchNorm 降低数据错误概率,卷积与 max pooling 升高(Figure 9a);单个 +1 ULP 权重误差在后续少数几个部分和内碰撞率即超 80%(Figure 9b),作者据此认为回溯策略不太可能有效。
    • 成本:ResNet-18 的 200,000 条轨迹运行约需 2,400 GPU 小时,按论文所引价格折合约 5,000 美元以上(附录 D)。
  5. 有什么可以进一步探索的点?

    作者称完整提取在现实条件下仍困难、需要新攻击技术;实验全为仿真,未做物理测量。

    作者指出的局限与后续方向

    • 难以扩展到大模型:作者称当前提取技术不太可能扩展到 GPT-3(96 层)、PaLM(118 层)这类更大更深的模型(第 9 节)。
    • 现实噪声下失败:加入按先前工作估计的现实噪声后,攻击在第一层即失败;作者认为仅靠提高 SNR 和增加轨迹数量不太可能足够,需要全新的攻击技术(第 9 节)。
    • 对后续工作的建议:作者认为未来工作应评估包括深层在内的全模型提取,并计入误差传播(第 9 节)。
    • 整数运算模型:作者认为使用整数而非浮点运算的模型可能挑战更少,但因主流模型多用 FP16,留作未来工作(第 9 节)。
    • 完整恢复仍是开放问题:摘要与第 9 节均称,现实攻击设定下精确恢复全部权重仍是 open challenge。

    实验覆盖范围

    • 被测模型为 CNN、VGG-11、ResNet-18、EfficientNet-B0 共 4 个,均为 CIFAR-10 图像分类、float16 推理(第 3.3 节、Table 1)。
    • 全部实验为基于 HW/HD 泄漏模型的仿真,噪声为零均值合成高斯噪声;论文未做真实物理测量(第 3 节、第 8 节)。
    • 现实噪声的 σ=850 是以 BarraCUDA 的实验设置为校准目标估计的,论文说明无法从其工件直接恢复 SNR 或噪声水平(第 8.1 节)。
    • 攻击假设已知确切架构,且不提取 BatchNorm 的每通道 4 个浮点参数(第 2.6 节、第 3.1 节)。
    • 除对抗迁移实验报 3 次独立训练的中位数外,论文未报告其他实验的重复次数。
  6. 总结一下论文的主要内容

    作者系统分析 CPA 提取 DNN 权重的本质困难:轨迹需求随深度指数增长,现实噪声下第一层即失败。

    一篇侧信道安全分析论文,研究用相关功耗分析(CPA)完整提取训练好的 DNN 权重为何比提取密码密钥困难得多。

    • 问题:已有工作把模型当"cipher"套用密码学 CPA,但只在随机初始化的小模型或浅层上演示;作者质疑这一假设,用无噪声仿真隔离本质困难。
    • 方法:基于 HW/HD 泄漏模型的仿真框架,逐权重、逐层顺序提取;分析浮点舍入碰撞与深层数据熵下降两类困难;提出符号校正与自适应感受野策略。
    • 关键数字:无噪声下 AES 全密钥恢复少于 10 条轨迹;8 层 CNN 用 HD 模型 5,000 条轨迹达 84.45% 基线精度,VGG-11 用自适应 RF 20,000 条达 92.78%,ResNet-18 用 200,000 条仍无法完整提取(单次运行约 2,400 GPU 小时)。
    • 近似提取:HD 下 5,000 条轨迹提取的近似模型在良性精度和 PGD 对抗样本迁移上均接近白盒水平;部分提取的层可减少微调所需数据并提高迁移 ASR。
    • 噪声影响:σ=4 时约需 200,000 条轨迹;按 BarraCUDA 校准的 σ=850 下,EfficientNet-B0 第一层 bitwise 准确率仅 33.9%(12.24M 条轨迹)。
    • 作者结论:DNN 与密码实现的差异(浮点低扩散运算、逐层熵下降)带来了先前工作未见的挑战;现实条件下完整提取仍是开放问题,需要全新攻击技术。

相关论文

共同使用 CIFAR-10
再看 1 篇
共同使用 CIFAR-10
阅读原文arxiv.org