一台设备上的模型暴露会危及其他设备：重新审视跨设备边缘神经网络安全

1. 01这篇论文试图解决什么问题？

   端侧同构模型暴露一个节点后，对抗样本可迁到其他节点，VeilNN用混淆降低迁移。

   一个节点上的端侧模型一旦暴露，对抗样本就能迁到其他同构节点。

   • 场景：应用经应用商店集中分发，移动与 IoT 设备运行相同 on-device 模型。作者称设备不可信，应用可被解包、模型可被窃取，从而处于 white-box。
   • 现有不足：作者称架构相似且参数部分对齐时迁移性强；跨节点中二者完全相同，风险更大。重设计并重训练代价高，还可能损害性能。注入冗余结构未打破输出一致性；输入、隐层或输出扰动在重复执行后，成功率会迅速趋向 100%。作者称单节点下有效的防御，在跨节点场景完全失效。
   • 观察：扩大各节点模型差异以削弱迁移，而不是只防泄漏或做对抗训练。思路来自代码混淆。
   • 方法：作者提出 VeilNN，对架构与参数做隐蔽、不可逆的网络单元混淆与层组装，适用于 MLP、CNN 与 Vision Transformer。作者称这是首个针对跨节点攻击的基于混淆的防御。
   • 威胁模型：
     • 目标：使其他设备上同一应用的模型预测出错；被攻陷节点用来取得模型知识并制作对抗样本。
     • 知识：对被攻陷节点为 white-box，含架构、权重与防御。引言称打其他节点时是 black-box；Section 4 称跨节点攻击发生在 white-box condition，攻击者掌握目标模型与防御的完整信息。
     • 能力：用 Apktool、IDA Pro 逆向 APK 或 IPA，再经模型提取（如调用开发格式的系统 API）取出模型。
     • 受害系统：所有者训练 M 并嵌入应用，经应用商店部署到 edge device；各节点模型相同。

   收起这一问

2. 02有哪些相关研究？

   相关工作主要是对抗攻击与端侧保护；作者称现有防御针对单节点。

   作者把已有工作分成对抗攻击、单节点防御和端侧模型保护，并据此定位跨节点混淆。

   对抗攻击

   • 白盒与黑盒：Liang et al. [2022] 综述对抗攻击。白盒包括 FGSM、PGD、C&W；黑盒在相关工作中写作 HJSA（Chen et al., 2020）和 Ghost（Li et al., 2020）。实验节把前者记为 HSJA。
   • 单节点假设：作者称多数攻击假设攻击者除当前节点外拿不到参数或架构。跨节点里，攻陷一个不可信节点即可得到相同模型及其防御。
   • 同应用迁移：Huang and Chen [2022] 报告，从被攻陷节点做出的对抗样本可以骗过同一移动应用中的安全节点。

   迁移性与单节点防御

   • 迁移条件：Sun et al. [2021] 与 Wang et al. [2024] 讨论架构相似、参数部分对齐时的对抗迁移。作者用这一点说明完全同质的部署会放大跨节点风险。
   • 单节点方法：对抗训练见 Wang et al. [2024]，实验基线另引 Madry et al. [2017]；输入–隐层–输出变换见 Yu et al. [2021]。Section 3 称这类方法把防御藏起来，对迁移性有限的样本有部分鲁棒性。
   • 作者的批评：作者称若已知架构与防御，攻击者可在本地估计随机网络或输入输出变换的期望，对抗训练也会失效。Figure 2 的 MLP 实验中，作者称除换超参重训练外，其余方法在跨节点下不能提供有效保护，而重训练代价高。

   端侧保护与结构修改

   • 扰动：Guiga and Roscoe [2020] 用 gradient-weighted class activation mapping 扰动图像输入；Grana [2020] 扰动输入以阻止窃取。隐层扰动见 Yu et al. [2021]、Yang et al. [2023]；输出扰动见 Lee et al. [2019]、Kariyappa and Qureshi [2020]、Zhang et al. [2023]。
   • 结构修改：Zhou et al. [2023] 的 ModelObfuscator 用 TFLite 的函数与定制结构隐藏内部信息。作者称它仍无法逃避代码分析，并称 Zhou et al. [2023; 2024a] 注入冗余组件后，不同模型对同一输入仍给出相似输出。
   • 重复攻击：作者称扰动类方法缺少针对对抗攻击的明确准则，重复执行后对抗样本成功率会迅速趋向 100%。

   基线与数据

   • 基线方法：跨节点防御对比 retraining（R.T.）、SSNN、adversarial training（A.T.）和 raw weight modification（Szentannai et al., 2020）。提取防御对比 ModelObfuscator 与 CustomDLCoder。攻击为 FGSM、PGD、C&W、HSJA、Ghost。
   • 基准/数据集：MNIST、CIFAR、Imagenet；网络为 MLP、AlexNet、ResNet、ViT。

   作者称现有主动防御不适用于跨节点。作者称本文首次同时混淆架构与权重以削弱迁移，而不是只防泄漏或做对抗训练；思路来自代码混淆（Sebastian et al., 2016）。

   收起这一问

3. 03论文如何解决这个问题？

   VeilNN在分发时混淆单元与层，使各节点架构和参数不同并保持原任务。

   分发时用 VeilNN 为每个用户生成专有模型：取出 raw model 的架构与参数，经网络单元混淆和层组装后，各节点的架构与权重不同，合法任务性能保持可比。作者的思路是扩大差异以削弱迁移。

   网络单元混淆

   • 分组注入：向目标层注入分组单元，参数设为线性相关，以免改变相邻层输出。约束为 Zⁱ⁺¹_1,n=Xⁱ_1,qWⁱ⁺¹_q,n，即相邻层输出由该层输入与权重决定；对注入组，这个输出须为零张量。注入单元的参数分布与原单元相同，作者以此追求隐蔽。
   • 改整个权重空间：作者称对手可用上述约束或模型压缩抽出注入单元。因此对整层做修改：L 为目标层，p 为参数索引，α 为修改强度，π 含扰动分布类型与幅度上限等控制量。作者称推断分组注入神经元的复杂度为 O(2^n)，n 为被混淆层的单元数。
   • SVD 扰动：对目标单元做奇异值分解，再给两份模型加独立对角噪声；每个扰动的绝对值小于 ε 乘对应奇异值，且 ε≪1。作者用两份对抗方向的夹角余弦表示对齐程度，并给出上界 P_success≤κ·cosθ，κ 为任务相关的方向对齐系数。论文在实验中另称 α 为强度参数，未写明它是否就是这里的修改强度。

   网络层组装

   • 动机：作者称只改单元和权重不够，因为拿到原始权重仍可做跨节点攻击。层组装用来打断各模型权重之间的相关，并抵抗架构恢复，同时不降低合法样本上的预测。
   • 层注入：成对注入，避免单层容易被看出。各分支用求和合成；为保持合法预测，注入层输出须等于原输入。
   • 层分解：把 layer i 拆成含 k 与 n_i−k 个神经元的两层，再用拼接组合。作者给出分解后输出与原层等价的约束，且 m_i 等于 n_{i−1}。
   • 层融合：分解的逆过程，合并两个不相关层。输入相同或不同，对应两种合并；输入相同时，权重按块拼接。复合层须合并原层输出，以免改变相邻层的输入。

   评测量与未给参数

   • C-ASR：在每个模型上生成对抗样本，再对其他 edge 模型取平均攻击成功率。Anti-ASR 定义为 1 减 C-ASR。结构相似度用 GraKeL 的 Neighborhood Subgraph Pairwise Distance Kernel（NSPDK）。攻击取无目标。
   • 未写明的量：论文未给出注入单元个数、分解所用的 k，以及 α 的默认取值；α 在实验中作为强度扫描。

   收起这一问

4. 04论文做了哪些实验？

   α∈[0.4,0.6]时五类攻击Anti-ASR平均49.19%，论文未写明模型。

   实验设置

   • 模型：MLP、AlexNet、ResNet、Visual Transformer（ViT）。Section 6.1 称三种网络，但列举了这四个；Section 6.3 的结构实验写明四种；结论写三种，包括 MLP、ResNet、ViT。论文未写层数或参数规模。
   • 数据：MNIST、CIFAR、Imagenet。论文未写 Figure 4 各数字对应哪个数据集，也未写样本量。
   • 攻击：无目标。白盒为 FGSM、PGD、C&W；黑盒为查询式 HSJA 与迁移式 Ghost。作者称对 VeilNN 而言，迁移攻击是自然的自适应攻击。论文未报告查询次数或迭代预算。
   • 基线：跨节点防御为 R.T.、SSNN、A.T.、raw weight modification。SSNN 在基线处引 Yu et al., 2021，后文引 Yang et al., 2023。提取对照为 ModelObfuscator 与 CustomDLCoder。作者称对比时关注 single-instance attacks。
   • 指标：C-ASR 是对其他 edge 模型的平均攻击成功率；Anti-ASR 为 1 减 C-ASR。结构相似度用 NSPDK。原任务看 performance/accuracy。论文未使用单独的评审模型。
   • 动机实验：Figure 2 写明在 MLP 上，图例为 Original、Retrain、SSNN、Adversarial Training，横轴 ε 的可见刻度约 0.01 到 0.07，纵轴为 ASR。正文未给出曲线读数。

   主结果

   据 Section 6.2，对应 Figure 4(d)。条件为 VeilNN、α∈[0.4, 0.6]。模型与数据集论文未说明。

   攻击	Anti-ASR	出处
   FGSM	57.71%	Section 6.2
   PGD	43.74%	Section 6.2
   C&W	48.09%	Section 6.2
   HSJA	50.75%	Section 6.2
   Ghost	45.65%	Section 6.2
   五类平均	49.19%	Section 6.2

   • 作者称 α 增大、决策边界扭曲更强时，跨节点 C-ASR 逐渐下降，且该区间内不依赖特定算法。Ghost 被作者称为针对 VeilNN 的自然自适应攻击。
   • 摘要把平均防御成功率写成 49.19%，并称四类攻击上 up to 81.19%、比现有防御提高超过 33.16%。贡献与结论把 49.19% 写成 attack success rate 的降幅，最高仍写 81.19%。实验节未说明这两项的模型、数据集和算法，也未说明它们与上表的对应关系。
   • 作者称 VeilNN 对梯度类白盒攻击和迁移攻击都有防御效果。

   基线对比与原任务

   • 对比：Figure 4(a) 纵轴为 Anti-ASR，作者称比较了十种 ε。作者称 VeilNN 与 Retrain 的 success rate 随 ε 增大从 56.92% 降到 35.29%、从 44.29% 降到 29.83%。作者称 A.T. 的 success rate 始终为 0%，SSNN 最高 5.19%，5 次与 10 次尝试为 1.23% 与 0.78%。图例另有 Raw、SSNN-1/5/10。正文未把 5.19% 标成 SSNN-1。
   • 作者解读：作者称重训练会把决策边界留在接近原模型处；VeilNN 以类似 Low-Rank Adaptation 的方式扰动边界，但使用 random datasets，因而比在原数据上重训练更能防御。作者称 Raw、A.T.、SSNN 表现差。Figure 2(b) 中，作者称除重训练外，这些方法在跨节点下不能提供有效保护；图中无可读点值。
   • 原任务：Figure 4(b) 中，作者称 α≤0.6 时预测损失低于 5% accuracy，raw weight modification 的损失低于 22.5%；α<0.6 时性能损失低于 2.5% accuracy。SSNN 的性能损失为 0.10%，A.T. 无损失。α∈[0.4, 0.6] 时，相对 raw model 的平均偏差为 3.29%。

   攻击者知识

   • 三种设定：①用本机 edge 模型打其他设备；②用 raw model 直接打 edge 设备；③掌握某一 edge 设备后再打 raw model。Figure 4(c) 图例为 Raw Attack Adjs、Adj Attack Raws、Adj Attack Adjs，正文未逐项对应。
   • 结果：作者称掌握 raw model 时最易迁移，C-ASR 为 80.03%，该句未写 α。只掌握某一节点时，对其他节点的 ASR 为 45.51%，对 raw model 为 41.61%（α=0.6）。
   • 作者解读：作者称因此需要同时混淆架构与权重，以打断对抗迁移。

   抗模型提取与结构差异

   • 结构：在 MLP、AlexNet、ResNet、ViT 上用 NSPDK 比较 raw 与混淆模型。Figure 5 横轴 Intensity 的可见刻度为 0 到 100，纵轴 Similarity 的可见刻度为 0.5 到 1.0。作者称 weight obfuscation 与 layer injection 的结构变化最小，layer decomposition 影响最大，network cell injection 居中。正文未给各点相似度。
   • 提取：设置跟随 CustomDLCoder 与 ModelObfuscator，评估 conversion、reverse、feature 与 code analysis。作者称二者部分保护模型，但未能阻止跨节点模型泄漏；VeilNN 完全阻止直接提取，并降低基于代码的重构成功率。论文未报告具体成功率。
   • Table 1：行中可见 TVM Obfuscator、CustomDLCoder 与 Ours，符号分别表示无法窃取、不适用、部分暴露或防御失败。文本转换后列对齐不可靠，此处不逐格转写。

   其他消融与分析

   • α≤0.6：预测损失低于 5% accuracy；raw weight modification 的损失低于 22.5%（Figure 4(b)）。
   • α<0.6：性能损失低于 2.5% accuracy；SSNN 为 0.10%，A.T. 无损失。
   • α∈[0.4, 0.6]：相对 raw model 的平均偏差为 3.29%；作者称该区间为最优混淆区间。
   • 正文称消融见 Supplementary Material，未给出消融数字。

   收起这一问

5. 05有什么可以进一步探索的点？

   论文未专门讨论局限或后续方向。

   作者指出的局限与后续方向

   论文未专门讨论局限。Conclusion 与正文都没有列出局限或 future work。

   实验覆盖范围

   • Section 6.1 使用 MNIST、CIFAR、Imagenet，并列出 MLP、AlexNet、ResNet、ViT；Section 6.3 的结构相似度实验写明这四种；结论写三种，包括 MLP、ResNet、ViT。
   • 攻击为无目标的 FGSM、PGD、C&W、HSJA、Ghost。Figure 4(a) 作者称比较了十种 ε。作者把 Ghost 称为针对 VeilNN 的自然自适应攻击。
   • 跨节点基线为 R.T.、SSNN、A.T. 与 raw weight modification。提取评估为 conversion、reverse、feature、code analysis，对照 ModelObfuscator 与 CustomDLCoder；Table 1 另有 TVM Obfuscator 一行。
   • Figure 2 的动机实验写明在 MLP 上，并分开画了 single-node 与 cross-node。
   • 论文未报告 Figure 4 各数字对应的模型与数据集、样本量、重复次数（除 SSNN 的 1、5、10 次尝试）以及 HSJA 的查询次数。消融称见 Supplementary Material，正文没有消融数字。

   收起这一问

6. 06总结一下论文的主要内容

   混淆架构与参数后，作者称五类攻击Anti-ASR平均49.19%（α∈[0.4,0.6]）。

   VeilNN 是放在应用分发阶段的端侧模型混淆防御，用来降低同构部署下的跨节点对抗迁移。

   • 问题：同一模型经应用商店发到多台设备。攻陷一个节点并解包后，攻击者可取得架构、权重和防御，再把对抗样本用到其他节点。作者称单节点防御在此设定下失效；换超参重训练有效，但代价高。
   • 方法：为每个用户生成不同模型。分组注入线性相关单元，并用奇异值分解扰动权重；再用成对层注入、分解和融合改变拓扑。约束是合法样本上的输出与原计算等价。
   • 主数字：Section 6.2 在 α∈[0.4, 0.6] 给出五类攻击的 Anti-ASR，FGSM 57.71%，PGD 43.74%，C&W 48.09%，HSJA 50.75%，Ghost 45.65%，平均 49.19%。论文未写明模型与数据集。掌握 raw model 时 C-ASR 为 80.03%；只掌握某一节点时，对其他节点为 45.51%（α=0.6）。该 α 区间相对 raw model 的平均偏差为 3.29%。
   • 作者结论：作者称 VeilNN 在保持原任务的同时削弱跨节点攻击，并把模型混淆看作可扩展的端侧防御。摘要另称防御成功率最高 81.19%，且优于现有防御超过 33.16%；实验节没有给出这两项的拆分。贡献写的是 attack success rate 降幅，与 Section 6.2 的 Anti-ASR 定义并不相同。

   收起这一问

相关论文