SoK 综述:可解释性 AI 如何成为机器学习隐私攻击面
SoK: Privacy Attacks on Machine Learning via Explainable AI
Oksuz 等系统梳理 25 篇用解释攻击模型抽取、成员推断与模型反演的研究,指出风险取决于解释信号、获取路径与攻击者已有知识。
- 解释会在预测之外暴露模型行为,从而成为模型机密性和数据隐私的攻击面。现有工作常只用黑盒或白盒标注,掩盖了解释信号到达攻击者的方式差异,使不同安全边界难以比较。
- 作者系统梳理 25 篇核心研究,覆盖模型抽取、成员推断和模型反演(含属性推断)。他们把模型知识与解释获取分开,归纳五条路径:目标发布、攻击者推导、二次披露、特权访问和已发布全局产物,并比较信号、辅助知识、查询预算、指标与防御。
- 作者称没有任何一类解释一律不安全,也没有任何防御一律有效。梯度可降低抽取的查询成本,反事实距离和解释引导的稳健性可暴露成员信号,空间或代数结构可支持重构私有输入;风险取决于暴露的信号、获取方式、目标资产和攻击者已知信息。
- 作者主张把解释隐私当作端到端披露问题来评测,防御要匹配获取路径和受保护资产。语料按攻击路径筛选而非 PRISMA 式综述,指标不可跨论文直接排名;梯度作为训练通信产物的泄漏被排除在核心语料之外。
- Benchmarks
- MNISTFashion-MNISTCIFAR-10CIFAR-100SVHNAdultHELOCDiabetesBreast CancerBank MarketingCredit Card ClientNCI109EEG
- Metrics
- fidelitysurrogate accuracyquery countAUCTPR at low FPRbalanced accuracyMSESSIMPSNRMAEattribute-inference accuracyexplanation MSEagreement
这篇 SoK 系统梳理了 25 项利用模型解释输出实施隐私攻击的研究,涵盖模型窃取、成员推断和模型反演,并将属性推断视为部分反演。作者指出,现有工作常只按黑盒或白盒标注,掩盖了对手实际获得的解释信号差异,因此把模型知识与解释获取分开,归纳出五条路径:目标方发布、攻击者自行推导、二次披露、特权访问和公开全局产物。在这些路径下,解释会降低窃取成本,通过解释统计量、recourse 距离和解释引导的鲁棒性暴露成员信号,并支持对私有输入做空间或代数重建。
Paper analysis
What problem does this paper attempt to solve?
解释辅助的隐私攻击常被笼统标成黑盒或白盒,安全边界实际上并不相同。
解释在预测之外泄露的信息,如何按获取路径和受保护资产比较其对模型机密性与数据隐私的影响。
- 场景与重要性:作者认为可解释人工智能(XAI)会发布特征重要性、显著性图、反事实、局部替代模型或影响函数等产物,它们对调试、追索、审计和用户理解有用,也因此成为攻击面。抽取损害模型机密性,成员推断针对训练数据隐私,反演可针对训练记录或推理时提交的私有输入。
- 现有工作的不足:作者称近期综述已整理攻击与隐私保护解释,网络安全方向的 SoK 也覆盖更广的攻防用途,缺口是可比性:论文用相近标签描述实质不同的安全边界。黑盒可能指仅标签的 API、预测加反事实服务、返回完整输入梯度的预言机,或参数隐藏但解释张量丰富的模型。
- 核心观察:作者认为模型知识与解释披露是正交的:参数隐藏并不阻止服务暴露近白盒学习价值的梯度预言机;目标不必自己发布解释,攻击者推导的解释在关闭解释端点后仍可保留攻击;解释报告本身是敏感的派生数据;防御是路径特定的。
- 本文提出:系统化 25 篇核心研究,提出与模型知识分开的五条解释获取路径,比较解释的操作角色、假设、模态、指标和泄漏因素,并把防御映射到它们保护的资产与路径,同时给出评测边际泄漏、低 FPR 成员风险、抽取成本和剩余披露通道的报告要求。
- 威胁模型:作者不提出单一攻击,而是用统一系统模型比较已有攻击。
- 目标 G:模型抽取学习替代模型、参数或功能等价模型;成员推断判断候选记录是否用于训练;模型反演重构记录所表示或关联的私有信息,敏感属性推断被当作部分反演。
- 知识 KM:参数、架构、梯度或训练数据是否已知,与接口披露分开。
- 能力:预测输出 O、解释获取 AE、辅助数据与知识 KD、查询预算与自适应性 Q。获取路径分为目标发布(P1)、攻击者推导(P2)、二次披露(P3)、特权访问(P4)和已发布全局产物(P5)。
- 受害系统:部署的预测或解释服务、他人的解释报告,以及训练、调试或模型所有者分析中才可用的量。
What related research exists?
相关工作按解释类型、三类隐私攻击和已有 XAI 隐私综述来定位,本文比较的是攻击路径。
- 解释机制:LIME [36] 用模型无关的局部替代模型给出特征权重;SHAP [19] 用博弈论归因给出逐特征边际贡献;Integrated Gradients [41]、Grad-CAM [38] 和 LRP [5] 面向可微神经网络给出空间或特征相关性;反事实解释用于追索 [25, 43];影响函数把预测或损失关联到训练样本 [16]。Table 1 汇总语料中的信号及其获取路径。
- 三类攻击谱系:模型抽取使用梯度、特征重要性、反事实或局部替代模型,以更少或信息更丰富的查询复现模型行为 [2, 23, 24, 31]。成员推断使用解释统计、反事实距离、影响或解释引导的扰动判断记录是否参与训练 [18, 34, 39]。模型反演从解释输出重构全部或部分私有记录,敏感属性推断被算作部分重构 [7, 20, 42, 50]。
- 综述与相邻工作:Allana 等 [4] 做了更广的 57 篇范围综述,Nguyen 等 [28] 按解释类型分类;作者称本文的分析单位是从解释获取到隐私或模型机密性目标的攻击路径,范围更窄,以便比较操作假设和定量证据。Noppel 与 Wressnegger [30]、另一篇 XAI 与网络安全 SoK [26] 覆盖更广的攻防用途。Rigaki 与 García [37] 综述机器学习隐私攻击,作者据此把模型机密性与隐私放在一起讨论。DLG 与 iDLG [44, 49, 52] 被作者视为理解梯度敏感性的谱系,但因梯度是训练通信产物而非解释,被排除出核心语料。反事实的关联与再识别 [11] 被当作相邻隐私目标,不纳入三族比较。
- 基线方法与基准:抽取侧比较标签查询与梯度查询(Milli 等 [23],MNIST 等)、预测-only 与预测加解释(DTMEA [46],MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100)、DFME 与 DaST(DMEAE [47]、MEGEX [24],CIFAR-10、SVHN),以及 PathFinding(Khouna 等 [15])。成员推断强调相对无解释对手的边际泄漏,Pawelczyk 等 [34] 在 HELOC、Adult、Diabetes 上报告低 FPR,Ezzeddine 等 [9] 在 EEG 上比较有无反事实。反演侧以 prediction-only 反演或属性推断为对照 [7, 50]。
作者把本文定位为保留攻击族视角、但用同一系统模型拆开模型知识与解释获取的系统化分析,而不是把不可比的评测协议排成一张榜。
How does the paper address this problem?
用六元组系统模型拆开模型知识与五条解释获取路径,再按三族攻击比较泄漏。
作者把每项研究放进同一系统模型,并定义边际泄漏,再按抽取、成员推断和反演比较解释的操作角色。分析单位是攻击路径,而不是解释方法名称。
问题设定与形式化
- 解释输出:设 fD 在数据集 D 上训练。常规服务返回预测 o(x),可以是硬标签或置信向量。解释机制额外给出 e(x) = φ(fD, x; R),R 是参考集、训练样本、模型梯度或反事实生成器等资源。作者强调 e(x) 的内容和计算它所用的资源决定什么信息越过信任边界。
- 系统元组:攻击设定写成 T = ⟨G, KM, O, AE, KD, Q⟩。G 是攻击目标与受保护资产,KM 是模型知识,O 是预测输出,AE 是解释获取,KD 是辅助数据与知识,Q 是查询预算与自适应性。作者认为两项攻击只有在与目标相关的维度对齐时才可比较。
- 边际泄漏:对越高越好的指标 M,ΔXAI = M(A | o, e, K, Q) − M(A | o, K, Q);误差类指标符号相反。作者要求其余威胁模型保持不变。正确的对照是同一对手去掉解释信号。作者指出许多研究会同时改变优化器、查询策略或架构,因此要区分“带 XAI 的攻击表现”和“隔离出 ΔXAI 的证据”。
语料与编码
- 范围:只收攻击过程实际使用解释或可解释性产物的研究。排除只操纵解释而没有隐私或模型机密性目标的工作(如解释规避)、通用对抗样本,以及梯度来自分布式训练通信而非解释的泄漏。预测-only 攻击只作基线。
- 构建:作者称这是分析性系统化,不是 PRISMA 式综述。从本稿已汇集的论文出发,对照最近的综述和 SoK [4, 26, 28, 30],并用其参考文献加到 2026 年 8 月 2 日的针对性新鲜度检查补缺。进入核心语料需评测三族之一、攻击确实消耗解释信号,且威胁模型具体到能分类获取路径。
- 规模与编码:最终 25 篇:抽取 13 篇,成员推断 9 篇,反演或属性推断 4 篇,其中 1 篇同时覆盖抽取和成员推断。每篇记录攻击族、受保护资产、模型知识、预测输出、解释信号与获取路径、辅助数据、查询预算、目标模型类别、模态、成功指标、代表性结果和已评测防御。作者不把 93% 抽取保真度、0.93 MIA AUC 和 0.90 图像 SSIM 合成排名。
五条获取路径
- P1 目标发布:攻击者发查询,部署服务返回该查询的解释。控制点是解释端点及其输出策略。反事实抽取、解释引导的成员推断和许多梯度预言机抽取属于此路径。
- P2 攻击者推导:目标不必返回危险解释。攻击者从目标预测推导局部解释、训练替代模型或解释器,或在隐私攻击前重构解释。作者称仅关闭解释输出的策略挡不住这条路径。XaMEA [48] 和 Zhao 等 [50] 的替代解释流程被归在这里。
- P3 二次披露:为另一数据主体生成的合法解释随后被分享、泄漏、拦截或窃取。解释报告本身是敏感派生数据,API 限速不是主要防御。Luo 等 [20]、Zhao 等 [50]、Toma 与 Kikuchi [42] 被归入此路径。
- P4 与 P5:P4 使用训练、调试或模型所有者分析中通常可得的量,例如 Cohen 等 [6] 的自影响;分布式训练的梯度泄漏属于更广的特权谱系,但不在核心语料。P5 是发布全局替代或可解释模型,Naretto 等 [27] 评测其成员暴露,攻击面在发布后持续,不受逐查询访问控制约束。
- 身份:作者要求威胁模型写明调用者、数据主体和对手。P1 中对手常查询自己的记录;P3 中对手用自己的查询校准,但从他人报告重构他人的记录。这些角色可以重合,但默认重合会掩盖真实信任边界。
三族攻击里解释的角色
- 抽取:目标是学习在查询分布上与目标一致的替代模型,或恢复功能等价模型。梯度可暴露局部参数,反事实可定位边界,特征重要性可指导扰动哪些特征,解释对齐损失可监督替代模型的决策逻辑。指标包括目标–替代保真度、替代任务表现、查询次数,以及较少研究中的解释相似度。
- 成员推断:作者归纳三条信号:解释向量对成员与非成员的统计不同;解释揭示与决策边界相关的距离或几何;解释引导的扰动暴露稳健性差异。作者保留各研究原指标,并在可得时强调固定低 FPR 下的 TPR。
- 反演:区分重构训练集中记忆的信息,与重构解释报告所表示的查询输入;后者即使模型从未记忆该记录也可能存在。表格用 MAE,图像用 MSE、SSIM、PSNR,隐藏属性用分类准确率。属性推断被操作性地当作反演子类,但输出是选定的隐藏分量而不是整条记录。
作者建议的评测口径
- 抽取:报告随时保真度–查询曲线,以及固定保真度下的查询比较。模型无关的 SHAP 或 LIME 一次解释请求内部可能多次评估模型,应说明成本计的是外部请求还是目标模型总评估次数。跨论文比较应固定架构、预测精度、辅助数据、替代模型和查询策略,只改变解释通道。
- 成员推断:至少报告 1% FPR、样本允许时报告 0.1% 或更低 FPR 下的 TPR,并同时给 AUC 与平衡准确率。若攻击先筛选记录,应报告覆盖率、选择规则,以及选择所需信息在所述威胁模型下是否可得。消融应把解释的贡献与攻击算法的贡献分开。
- 反演:重构保真度应配任务特定的隐私指标,并报告相对合适先验或 prediction-only 基线的改进,而不只报绝对误差。精确 Shapley 加线性模型的理论恢复,与近似报告上的经验攻击,是互补证据,不是可互换的威胁模型。
What experiments did the paper conduct?
本文不跑新攻击,而是在三族内转述 25 篇研究的代表性结果,并拒绝跨论文排名。
实验设置
- 被分析对象:25 篇核心研究,不是作者新训练的模型。抽取侧目标包括线性模型、两层 ReLU、卷积网络、VGG11、ResNet-18、ResNet-34、LeNet-5、逻辑回归、多层感知机、梯度提升树、神经网络、隐参数分类器、决策树、随机森林和五种 GNN 架构(Table 2)。成员推断与反演的目标类别见 Table 3、Table 4,包括表格分类器、图像 DNN、EEG/传感器模型,以及 Google、Microsoft、IBM 服务上的神经网络、支持向量机、随机森林和梯度提升树。
- 数据与模态:论文写明的包括 MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100、SVHN、Adult、HELOC、Diabetes、Breast Cancer、Bank Marketing、Credit Card Client、NCI109、EEG,以及安全场景下的表格数据。各研究样本量论文未逐一汇总。
- 指标:抽取用准确率、fidelity、agreement、查询次数、解释 MSE、相似度;成员推断用准确率、AUC、平衡准确率、低 FPR 下的 TPR、精确率与召回;反演用 MSE、SSIM、PSNR、攻击准确率、属性推断准确率、MAE、成功率、误差和精确恢复。作者不合成单一榜单。
- 对照:同一研究内的 prediction-only、标签查询、DFME、DaST、PathFinding、无反事实设定,以及 DP 或主动学习变体。评审方式沿用各研究自身协议,本文未统一指定评审模型或阈值。
- 重复次数与查询预算:本文未报告统一重复次数。文中出现的预算包括 Milli 等的 10 次梯度查询对 1,000 次标签查询、Aïvodji 等的 1,000 次查询、Oksuz 等 Breast Cancer 逻辑回归的 100 次查询、MEGEX 的 2.5M 与 20M 查询、Ma 等 [22] 的 500-query cap。
主结果
下表只列论文在 Table 2–4 中给出具体数字的代表性结果,其余格子原文为定性描述。
Swipe horizontally to read the table
研究 设定 指标与数字 出处 Milli 等 [23] MNIST 卷积网络;梯度 vs 标签 10 次梯度查询 95% 准确率;1,000 次标签查询才到同一目标;理论为 O(h log h) 次梯度查询 Table 2 Miura 等 [24] CIFAR-10;MEGEX vs 复现的 DFME 2.5M 查询 81.13%;20M 查询 91.61%;DFME 在 20M 才到 81.13% Table 2 Yan 等 [46] 预测+四种特征重要性;图像 DNN MNIST、Fashion-MNIST、CIFAR-10、CIFAR-100 上增益 1.25、1.53、9.25、7.45 个点 Table 2 Yan 等 [47] 解释扰动 攻击准确率变化至多 0.65 个百分点 Table 2 Ma 等 [21] NCI109,Graph-CAM 相对 prediction-only 抽取基线 fidelity +11.59 个百分点 Table 2 Aïvodji 等 [2] Adult,1,000 次查询,边际分布知识 fidelity 约 93% Table 2 Pawelczyk 等 [34] HELOC+CCHVAE AUC 0.679;1% FPR 下 TPR 5.13%;若干 Adult 与 Diabetes 设定接近随机 Table 3 Liu 等 [18] CIFAR-100 代表设置,七种解释 AUC 约 0.915–0.931;0.1% FPR 下 TPR 2.2–3.7% Table 3 - 抽取:作者称原始梯度可以充当近参数预言机,VGG11 和 ResNet-18 达到较低准确率目标时仍大约有一个数量级的查询下降;但绝对预算仍然很大,这不是“每个梯度解释 API 都能廉价利用”的证据。MEGEX 在 Fashion-MNIST 和 SVHN 上发现 SmoothGrad 与 Integrated Gradients 有用,在 CIFAR-10 上并不同等有效。
- 成员推断:作者称存在反事实 API 并不意味着成员推断一律强。Ezzeddine 等 [9] 在 EEG 基线上把准确率和召回从无反事实的 58% 升到有反事实的 77%;作者认为该预印本协议不同,只说明反事实信息可以放大泄漏,不能直接与 Pawelczyk 的攻击排名。
- 反演:Table 4 的代表性发现以定性为主:空间解释优于 prediction-only 反演;解释在敏感特征经代理相关被审查后仍可泄漏;神经网络和更重要的特征在 Luo 等的实验中通常更易被重构;线性回归在精确 Shapley 值下可精确重构。Table 4 未给出这些比较的具体误差或准确率数字。
成员推断的其他数字
- 解释统计:Shokri 等 [39] 中,对整个解释向量的学习型攻击略强于只看方差的阈值;Integrated Gradients 和 LRP 也会泄漏,但在其评测设置中通常少于原始梯度解释。泄漏随输入维度、类别数和过拟合变化。Naretto 等 [27]:可解释全局替代模型可以比原始黑盒模型更容易遭受成员推断,风险在替代模型发布后仍然存在。
- 稳健性与覆盖率:Liu 等 [18] 的消融中,无解释的分割与扰动策略相对较老基线也有明显改进;作者认为原始提升不应全部归因于 XAI。Ma 等 [22] 在仅标签输出和 500 次查询上限下,用特征重要性指导采样,对选定的易遗忘记录追求低 FPR 下的高精度,同时牺牲覆盖率。Benhmida 等 [12] 覆盖 15 种 XAI 技术,报告相对先前解释-MIA 基线最多多 74.9% 的泄漏;缓解使泄漏降低 46.5–95%,平均效用损失至多 3.3%(Table 3)。论文未说明这 74.9% 的分母和具体模型。
- Cohen 等 [6]:自影响可以暴露成员关系,但需要模型和训练过程访问,作者将其与公开解释 API 分开。
其他消融与分析
- Yan 等 [48]:攻击者推导的解释保留部分优势;解释辅助变体在 CIFAR-10 和 CIFAR-100 上增益最大(Table 2,未给具体点数)。
- Oksuz 等 [31]:若干低复杂度设置相似度高;Breast Cancer 逻辑回归 100 次查询;像素级图像解释无效;复杂树需要更大、更多样的辅助覆盖。与方程求解的查询比无法建立,因为基线未报告对应查询次数。
- Ezzeddine 等 [8]:非私有反事实改善抽取;DP 生成的反事实使 agreement 降向无反事实基线(Table 2,无具体百分比)。
- Khouna 等 [15]:许多设置下以比 PathFinding 少若干数量级的查询精确恢复树(Table 2 未给具体查询数)。
- Duddu 与 Boutet [7]:四个数据集、四类模型上,单独使用解释优于 prediction-only 属性推断;把预测与解释拼接并不一致地有帮助,有时更差(Table 4,无具体准确率)。
- MEGEX [24]:在其表述下,直接使用 Vanilla Gradient 与对应的白盒无数据知识蒸馏更新等价;处理过的梯度会去掉攻击所需的优化信号。
What are some points that can be further explored?
作者要求按获取路径和资产匹配防御,并单独报告边际泄漏与低 FPR 风险。
作者指出的局限与后续方向
- 评测不可比:第 2.3 节写明,异构指标不能合成排名,第 8 节指出评测选择会挡住更强结论。作者在第 5.4 节明确不跨论文给抽取方法排名。
- 边际泄漏常未隔离:第 3.2 节指出,许多研究同时改变优化器、查询策略或架构;Liu 等 [18] 更强的成员推断同时依赖 XAI 和新的多查询过程。作者要求后续评测固定其余威胁模型,只改变解释通道。
- 低 FPR、覆盖率与分层泄漏:第 6.4 节要求报告固定低 FPR 的 TPR、正负样本是否足够支撑该操作点、覆盖率与选择规则,以及分布或分层泄漏,而不只报一个平均值。作者写明,高 TPR 可能只适用于窄子集或依赖额外知识。
- 重构指标与先验:第 7.4 节建议把重构保真度与任务特定隐私指标配对,并相对先验或 prediction-only 基线报告改进。精确恢复与商业系统上的近似报告不是可互换的威胁模型。
- 防御应按路径匹配:引言和贡献写明,差分隐私、输出扰动、限速和访问控制保护的是不同资产和披露通道;作者主张把解释隐私当作端到端披露问题来评测。关闭解释端点挡不住 P2,限速不是 P3 的主要防御,只认证解释 API 也挡不住二次披露和替代解释。
- 报告要求:贡献部分写明,作者由此导出对边际泄漏、低 FPR 成员风险、抽取成本和剩余披露通道的报告要求。第 5.4 节还要求说明一次解释查询计的是外部请求还是目标模型总评估次数。
实验覆盖范围
- 核心语料为 25 篇:抽取 13、成员推断 9、反演或属性推断 4,1 篇跨抽取与成员推断;截止新鲜度检查为 2026 年 8 月 2 日(第 2.2 节)。
- 获取路径覆盖 P1–P5;Table 1 的信号包括输入梯度/显著性、IG/Grad-CAM/LRP、LIME、SHAP、反事实/追索、影响函数、全局替代和图子结构。
- 模态在各表中写明为图像、表格、图、安全表格和传感器/EEG;反演区分训练记录与查询记录(Table 4)。
- 本文没有新的统一实验;代表性数字沿用各研究自己的威胁模型和指标(Table 2–4 标题)。
- 论文未报告跨 25 篇的统一样本量、重复次数或单一评审模型;DLG/iDLG 式训练梯度泄漏和仅操纵解释的攻击被明确排除出核心语料(第 2.1 节)。
Summarize the main content of the paper
25 篇解释辅助攻击被放进五条获取路径,风险随信号、路径、资产和已有知识变化。
这是一篇关于可解释性产物如何成为隐私与模型机密性攻击面的系统化研究(SoK)。
- 问题:特征重要性、显著性图、反事实、局部替代和影响函数会越过预测本身披露信息。作者认为现有黑盒/白盒标签把参数是否已知和接口返回什么混在一起,使防御声称看起来比实际覆盖的威胁模型更宽。
- 做法:25 篇研究被编入抽取、成员推断和反演(含属性推断)。系统模型把目标、模型知识、预测输出、解释获取、辅助知识和查询预算分开。获取路径为 P1 目标发布、P2 攻击者推导、P3 二次披露、P4 特权访问、P5 已发布全局产物。边际泄漏定义为同一对手在其余条件固定时,有无解释信号的指标差。
- 抽取侧数字:Milli 等在 MNIST 卷积网络上用 10 次梯度查询达到 95% 准确率,标签查询需要 1,000 次(Table 2)。MEGEX 在 CIFAR-10 上 2.5M 查询达到 81.13%,复现的 DFME 要 20M 查询才达到同一准确率,MEGEX 在 20M 查询为 91.61%。Aïvodji 等在 Adult 上、仅知特征边际时,1,000 次查询的 fidelity 约为 93%。
- 成员与反演:Liu 等在 CIFAR-100 代表设置下,七种解释方法的 AUC 约为 0.915–0.931,0.1% FPR 下 TPR 为 2.2–3.7%,但消融显示多查询过程也有贡献。Pawelczyk 等在 HELOC+CCHVAE 上 AUC 为 0.679、1% FPR 下 TPR 为 5.13%,若干 Adult 与 Diabetes 设定接近随机。EEG 基线上,加入反事实后准确率与召回从 58% 到 77%。空间解释和 Shapley 报告分别支持图像重构与表格特征重构,线性回归在精确 Shapley 下可无误差重构。
- 作者的结论:没有任何解释族一律不安全,也没有任何防御一律有效。风险取决于暴露的是哪种信号、如何获取、针对哪种资产,以及攻击者已经知道什么。解释隐私应按端到端披露来评测,防御要匹配获取路径和受保护资产。