跳到正文
原文

通过数据投毒操纵贝叶斯推断与决策

Steering Bayesian Inference and Decisions through Data Poisoning

arXiv:其他 AI 安全论文· arXiv:2611.19557· Roi Naveiro, William N. Caballero, Juan MaroñasCUNEF Universidad; Air Force Institute of Technology; University of Arkansas; Machine Learning Group, Universidad Autónoma de Madrid本站收录· 2 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出用 MMD 替代 KL 的后验吸引攻击:攻击者只需指定目标后验矩或目标决策,删除或复制少量观测即可操纵贝叶斯推断与决策。

威胁模型白盒(white-box)设定:攻击者知道数据、先验、似然,攻击决策时还知道防御方的效用函数;可删除或复制观测(权重 w_i=0 删除、=1 保留、>1 复制),受总预算 B 与单点复制上限 L 约束;受害系统是进行贝叶斯推断与决策的防御方(默认用 MCMC 采样后验)。

问题
已有后验吸引攻击要求攻击者完整指定目标后验,但现实中攻击者往往只关心少数后验矩或下游决策。如何在只指定部分目标的情况下,通过删除或复制少量观测操纵贝叶斯推断与决策?
方法
把后验吸引目标从 KL 散度换成 MMD:用矩匹配核只约束攻击者关心的后验矩;因贝叶斯行动只通过期望效用依赖后验,诱导目标决策可归约为匹配一组效用差距矩。攻击用只需后验样本的梯度估计器,配合松弛-取整(SGD-R2/Adam-R2)或贪心启发式(FGSM/ISCD)求解。
实验与结果
模拟回归中,矩匹配核在 B=100 时把 β1 后验均值推到约 0(RBF 核只到约 0.5);Meuse 数据删除 20/152 个点使 βFFREQ 后验均值从 0.42 降到 0.05;氡数据删除 7/919 户(均不在目标县)即把修复决策翻转为不行动。
局限与可以继续做的
作者指出:每次迭代需重新 MCMC 采样,对大模型和大数据集代价高;MCMC 下梯度估计不再保证无偏,收敛定理不直接适用;连续松弛的最优点未必靠近整数最优;防御扩展与稳健性评估用途留作未来工作。
实验设置Bayesian linear regression model with Normal-Inverse-Gamma prior、Bayesian spatial regression (non-conjugate spatial regression with Gaussian process) 等 · 模拟贝叶斯线性回归(n=200,d=2,Normal-Inverse-Gamma 共轭先验)、Meuse 土壤调查数据(N=152,空间回归) 等 · MMD²、目标参数的后验均值/方差 等
被测模型
Bayesian linear regression model with Normal-Inverse-Gamma priorBayesian spatial regression (non-conjugate spatial regression with Gaussian process)Hierarchical model (Gelman & Hill 2006 radon model)
基准
模拟贝叶斯线性回归(n=200,d=2,Normal-Inverse-Gamma 共轭先验)Meuse 土壤调查数据(N=152,空间回归)Minnesota 氡调查数据(919 户、85 县,层次模型)
指标
MMD²目标参数的后验均值/方差效用差 g1(θ) 的后验均值(决策是否翻转)
AI 导读研究者提出一种针对贝叶斯推断的数据投毒攻击:攻击者通过删除或复制少量观测数据,使后验分布偏向选定的目标分布。与既有需要完整指定目标后验的后验吸引攻击不同,该方法通过最小化结果后验与目标分布之间的最大均值差异(MMD),借助合适的核函数即可只操纵选定的后验矩,无需给出其余目标;由于贝叶斯决策仅通过作为后验矩的期望效用依赖后验,同一方法可直接针对下游决策。攻击以仅需后验样本的梯度启发式构造,作者分析了其收敛性。在回归与层次模型上的实验比较了基于矩的攻击与完整后验攻击,并展示删除少量观测即可翻转贝叶斯决策。

研究者提出一种针对贝叶斯推断的数据投毒攻击:攻击者通过删除或复制少量观测数据,使后验分布偏向选定的目标分布。与既有需要完整指定目标后验的后验吸引攻击不同,该方法通过最小化结果后验与目标分布之间的最大均值差异(MMD),借助合适的核函数即可只操纵选定的后验矩,无需给出其余目标;由于贝叶斯决策仅通过作为后验矩的期望效用依赖后验,同一方法可直接针对下游决策。攻击以仅需后验样本的梯度启发式构造,作者分析了其收敛性。在回归与层次模型上的实验比较了基于矩的攻击与完整后验攻击,并展示删除少量观测即可翻转贝叶斯决策。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    已有后验吸引攻击需完整指定目标后验;本文用 MMD 让攻击者只指定少数后验矩或直接指定目标决策。

    核心问题:如何在不完整指定目标后验的前提下,通过删除或复制少量观测,把贝叶斯后验的特定矩或下游决策引向攻击者想要的结果。

    • 场景与动机:贝叶斯推断依赖数据生成过程良性这一假设;作者认为数据投毒在统计的"数据建模文化"(尤其是贝叶斯分析)中研究尚少,而似然被篡改会实质影响推断。
    • 现有方法的不足:Carreau et al. (2025) 与 Caballero et al. (2026) 的后验吸引攻击以 KL 散度为目标,迫使攻击者指定整个对抗后验 πA;作者指出这在高维下不现实,且 KL 目标无法只对部分参数做边际化。
    • 核心观察:用 MMD 替换 KL 后,配合只依赖部分特征的核,攻击者只需指定目标矩;又因贝叶斯行动只通过期望效用(本身是后验矩)依赖后验,诱导目标决策可归约为把效用差距的期望推过决策边界。
    • 论文提出:MMD 后验吸引(MPA)框架、只需后验样本的无偏梯度估计器、矩匹配核与决策核、四种求解启发式(SGD-R2、Adam-R2、FGSM、ISCD),以及投影 SGD 的收敛分析。
    • 威胁模型:
      • 目标:使诱导后验在 MMD 意义下接近攻击者指定目标(若干矩或某个贝叶斯行动)。
      • 知识:白盒(white-box)——攻击者知道数据、先验、似然;攻击决策时还知道防御方的效用函数。
      • 能力:删除或复制已有观测(w_i=0 删除、=1 保留、>1 复制),受总预算 B 与单点复制上限 L 约束。
      • 受害系统:做贝叶斯推断与决策的防御方,默认用 MCMC 近似后验。
  2. 有哪些相关研究?

    相关研究分四组:投毒与对抗机器学习、后验吸引攻击、贝叶斯 coreset 与有限样本稳健性、贝叶斯防御框架。

    对抗机器学习与数据投毒

    • Cinà et al. (2023)——数据投毒文献综述,涵盖主要变体及其影响。
    • Goodfellow et al. (2014)、Kurakin et al. (2018)、Demetrio et al. (2021) 等——规避攻击(evasion),论文用它们说明已部署模型面临的操纵风险,与本文的训练期投毒相区分。
    • Insua et al. (2023)、Arce et al. (2025a)——从贝叶斯视角讨论对抗机器学习,论文称这类工作凸显了贝叶斯分析中投毒问题的重要性。

    后验吸引攻击(本文直接扩展的对象)

    • Carreau et al. (2025)——提出后验吸引问题:以 KL 散度为目标,通过删除/复制观测(权重向量 w)把后验引向完整指定的对抗后验,并给出松弛-投影 SGD 启发式与收敛保证。论文指出其局限是 KL 目标要求完整指定 πA,且不能对目标/冗余参数做边际化。
    • Caballero et al. (2026)——沿操纵轴扩展,允许扰动数据连续取值,分析限于指数族似然加共轭先验;同样依赖 KL 目标。

    贝叶斯 coreset 与有限样本稳健性

    • Campbell & Broderick (2019)、Campbell & Beronov (2019)——贝叶斯 coreset:选权重压缩数据同时保持后验;本文用同样的加权后验对象,但权重按对抗目标选择。
    • Broderick et al. (2023) 及 Nguyen et al. (2024)——有限样本稳健性:评估删除多少观测会改变结论(Approximate Maximum Influence Perturbation 及其 MCMC 扩展)。论文指出删除-only 的 FGSM 在针对单个后验矩时与该影响诊断本质等价,区别是本文站在攻击立场构造攻击,且迭代式方法会随被攻击后验更新排序。

    贝叶斯防御框架

    • Gallego et al. (2024)、Arce et al. (2025b)——通过对抗信道建模攻击者以构建稳健预测模型;论文指出这些框架针对的是预测时的规避攻击,未覆盖数据投毒。

    基线与基准:实验中的对照是论文自己的四种启发式互比(FGSM、ISCD、SGD-R2、Adam-R2),以及附录 F 中按"支持分数"删除 top-20 的朴素基线;无外部攻击基线。数据集为模拟线性回归、Meuse 土壤调查(N=152)和 Minnesota 氡调查(919 户)。

    作者将本文定位为:保留 Carreau et al. (2025) 的删除/复制约束,沿"差异度量"轴把 KL 换成 MMD,从而支持只指定矩或直接指定决策的攻击;同一机制反向可读作贝叶斯决策稳健性的审计诊断。

  3. 论文如何解决这个问题?

    把后验吸引目标换成 MMD,用核选择决定约束哪些后验特征;梯度由只需后验样本的协方差估计器给出,再用松弛-取整或贪心启发式求整数攻击。

    整体思路:把后验吸引问题中的差异度量从 KL 换成 最大均值差异(MMD),通过核的选择让攻击者只约束关心的后验特征;再推导一个只需后验样本的梯度估计器,用投影 SGD 加取整或整数步贪心求解。

    问题设定与 MPA 形式化

    • 防御方对参数 θ 做贝叶斯推断;攻击者给每个观测赋非负整数权重 w(0 删除、1 保留、>1 复制),诱导加权后验 πw(θ|X) ∝ exp(w⊤ fX(θ))π(θ),其中 fX 是逐观测对数似然向量。
    • MPA 问题:在 ‖w−1‖₁≤B、‖w‖∞≤L 约束下最小化 MMD²(πA, πw; k)。
    • 边际化性质:若核只通过目标参数 β 依赖 θ,则目标只涉及 β 边际,攻击者无需指定完整 πA;作者指出 KL 目标没有这种分解。

    梯度估计(只需采样)

    • 定理 3.2 给出精确梯度:∇w MMD2 = 2 Covπw(g(θ), fX(θ)),其中 g(θ) 是当前后验与目标的核均值嵌入之差;含义是梯度等于"见证函数与逐观测对数似然的协方差的两倍"。
    • Algorithm 1:把 2N 个后验样本分成两半,一半估计 ĝ,另一半算样本协方差,配合 M 个目标样本,得到无偏梯度估计(Lemma 4.2,要求精确 i.i.d. 采样)。

    矩匹配核与决策核

    • 矩匹配核:取特征 h1…hm,用线性核 kMM,MMD² 退化为所选矩期望的平方误差和;该核一般非特征核,矩匹配即可使 MMD 为零,无需匹配整个分布形状。
    • 决策核:对有限行动集,定义相对目标行动 dA 的效用差距 gk(θ)=u(dk,θ)−u(dA,θ);dA 是唯一贝叶斯行动当且仅当所有 E[gk]<0。取目标矩 m=−γ1(安全边际 γ>0),MMD²<γ² 即保证所有期望差距为负,从而保证决策翻转;成功可由后验样本估计差距来认证(至多 Monte Carlo 误差)。连续决策的扩展在附录 B。

    理论分析

    • 目标 F(w) 一般非凸;Lemma 4.1 给出 ξ-光滑性,Lemma 4.2–4.3 给出估计器无偏性与方差上界 σ²。
    • Theorem 4.4:投影 SGD(步长 η=1/(2ξ))在随机终止迭代 R 处满足 E‖Gη(wR)‖² ≤ 8ξ(F(w0)−F*)/T + 6·(1/T)Σνt²;固定每轮样本量时只剩 O(σ) 的驻点残差。作者注明两个保留:步长依赖未知光滑常数、保证针对随机抽取的迭代而算法取整的是末迭代。
    • 取整误差由光滑性界定(式 9);凸情形的更强结果在附录 A.7,作者指出矩匹配/决策核的 Hessian 秩受特征数限制,强凸性一般不成立。

    求解启发式

    • SGD-R2:松弛到连续权重,投影 SGD(投影 O(n log n)),末迭代按 Proposition 5.1 的闭式取整到最近整数可行点;MCMC 链跨迭代热启动以省计算。
    • Adam-R2:把 SGD 步换成 Adam 步再投影。
    • FGSM:一次性攻击,在 w=1 处估一次梯度,选 |梯度| 最大的 B 个观测各动一个单位;有仅删除变体。
    • ISCD:整数步坐标下降,每步重新估梯度并沿一阶下降最大的可行坐标动一个单位,直到预算耗尽或达迭代上限。
  4. 论文做了哪些实验?

    三组实验:模拟线性回归比较核与启发式、Meuse 空间回归检验 MCMC 下攻击、氡层次模型展示删除 7 户翻转修复决策。

    实验设置

    • 被推断模型:(1) 未知方差的贝叶斯线性回归(Normal-Inverse-Gamma 共轭先验,精确采样);(2) Meuse 数据上的非共轭空间回归(高斯过程空间效应,NUTS 采样);(3) 氡数据上的层次回归(Gelman & Hill 2006 模型,NUTS 采样)。无被测机器学习模型,实验对象是贝叶斯推断流程本身。
    • 数据:模拟数据 n=200、d=2、协变量相关 ρ=0.8、真 β=(2.0,−1.0);Meuse 土壤调查 N=152;Minnesota 氡调查 919 户、85 县。
    • 攻击目标:回归中把 E[β1] 从约 2 推到 0(附录 E 改为把 β1 后验方差推到 σA²=0.5);Meuse 中把 E[βFFREQ] 推到 0(仅允许删除);氡中把 Lake County 新房的贝叶斯行动从修复 d1 翻转为不行动 d2(γ=50,且不能删 Lake County 的户)。
    • 方法变体:FGSM、ISCD、SGD-R2、Adam-R2 × 矩匹配核与 RBF 核(RBF 带宽用中位数启发式)。
    • 预算与重复:回归 B∈{0,10,…,100}、L=2、每次攻击重复 10 次报均值±2 标准差;Meuse B∈{10,20,30,40}、5 次独立运行;氡用 SGD-R2,最多 24 次迭代、每梯度 600 个热启动 NUTS 样本。
    • 实现:梯度估计用 2N=2000 个 πw 样本、RBF 核另用 M=1000 个目标样本;SGD-R2/Adam-R2 最多 T=500 次迭代(回归实验)。

    主结果

    论文无主结果总表,主结果分散于 Figure 1–6,关键数字如下(均为论文报告值):

    表格较宽,可左右滑动

    设置攻击结果出处
    线性回归,B=100,矩匹配核三种迭代启发式E[β1] 被推到约 0;E[β2] 从约 −0.8 移到约 0.7Figure 1b
    线性回归,B=100,RBF 核迭代启发式E[β1] 仅降到约 0.5;E[β2] 约 −0.6Figure 1b
    Meuse,B=20(152 点的 13%)Adam-R2βFFREQ 后验均值 0.42→0.05,95% CI 从 [0.18,0.66] 扩到 [−0.21,0.30]6.2 节、Figure 5
    氡,B=7(919 户的 0.76%)SGD-R2效用差后验均值 188.4→−23.9,决策从修复翻转为不行动Figure 6
    • 作者称:同一核下三种迭代启发式达到的 MMD 目标相近,FGSM 一致地停在更大的差异值上,因为它只在干净后验上排一次序。
    • 作者称:矩匹配核更适合只关心单个泛函的攻击者,RBF 核更适合希望其余特征保持在指定值的攻击者;矩匹配对 β2 的连带扭曲更大。

    核与相关性的影响(Figure 3、附录 E)

    • 相关性实验:Adam-R2 下,两核在 ρ=0.2 时表现一致,ρ 升高后差距变大;ρ=0.95 大预算时矩匹配攻击因取整步骤 overshoot 目标(每个 ρ 一个模拟数据集)。
    • 方差攻击(附录 E):矩匹配核(中心化二阶矩特征)把 V[β1] 从 0.014 抬到 B=100 时的 0.22–0.28,同时 E[β1] 保持在干净值约 0.15 以内;Adam-R2 达 0.28,RBF 核最大预算时仅 0.15。作者解释:RBF 目标还要求把后验相关从 −0.77 改到 −0.13,而重加权难以同时去相关和加宽。
    • 特征选择教训:用原始二阶矩 β1² 作特征时攻击失败(各预算下方差不超过干净值),作者解释为原始矩可通过移动均值而非加宽后验来降低目标;中心化特征没有这个捷径。

    决策攻击与机制(6.3 节、附录 G)

    • 测了什么:氡层次模型中,攻击者只能删 Lake County 以外的户,目标是把该县新房的修复决策翻转。
    • 结果:B=7 是可翻转的最小预算(B=6 时攻击后效用差后验均值为 0.0,未翻转);删除的 7 户分布在 Carver、Cottonwood、Marshall、McLeod、St. Louis 五县。期望健康成本从约 2188 降到 1976(修复成本 2000);目标值 −50(含安全边际)未达到,但决策已反转。
    • 机制(Figure 13):作者称攻击通过部分池化传播——对 Lake County,后验均值插件分解显示预测截距降低贡献约 173、预测方差缩小贡献约 46;Carver 县因被删户氡水平低,其期望成本反而上升。

    其他消融与分析

    • 梯度无偏性数值检验(附录 D.3):w=1 处 nrep=20000 次重复,标准化误差 max|zi|=1.35,均在 ±2 内,与 Lemma 4.2 一致。
    • Meuse 删除点诊断(附录 F):被删点沿河分布、含两类泛滥频率,不只删单变量极端点;仅 8 个进入朴素支持分数 top-20。
    • 朴素基线对比(Figure 12b):按干净支持分数删 top-20 仅把 βFFREQ 后验中位数降到 0.27(95% CI [0.05,0.48] 仍为正),优化的 Adam-R2 降到 0.04。
    • ISCD 在 MCMC 设置下:Meuse 实验中需 B=30 才达目标,FGSM 任何预算都未达目标;大预算时松弛类方法因取整可 overshoot 过 0。
  5. 有什么可以进一步探索的点?

    作者列出计算瓶颈、防御扩展与稳健性评估用途等方向;实验覆盖三个贝叶斯模型、白盒设定与删除/复制操纵。

    作者指出的局限与后续方向

    • 计算瓶颈(第 7 节):投影 SGD 每次迭代都要重新从后验采样(通常 MCMC),对大模型和大数据集代价高;作者提出值得研究能保持优势但优化更便宜或更良态的其他差异度量。
    • 无偏性假设(4.1 节):Lemma 4.2 的无偏性与 Theorem 4.4 的保证以精确 i.i.d. 采样为前提;用 MCMC 采样时估计器未必无偏,定理不直接适用,需要额外控制采样偏差与相关性。
    • 收敛保证的保留(4.2 节):步长 η=1/(2ξ) 依赖未知光滑常数,实践中需经验调参;保证针对均匀随机抽取的迭代 wR,而 Algorithm 2 取整的是末迭代;固定每轮样本量时驻点残差不随 T 消失。
    • 松弛与整数最优的间隙(5.2 节):连续松弛的最优点未必靠近整数最优,这是提出 ISCD 等整数步启发式的动机。
    • 操纵轴扩展(第 7 节):约束集可更灵活,例如把删除/复制与 Caballero et al. (2026) 的数据扰动结合。
    • 防御与审计用途(第 7 节):把 Gallego et al. (2024)、Arce et al. (2025b) 的贝叶斯防御框架从规避攻击扩展到数据投毒是自然的下一步;把 MMD 攻击用作评估贝叶斯推断与决策对最坏情形删除/复制的稳健性(尤其在高风险应用)是未来方向。

    实验覆盖范围

    • 实验覆盖三个贝叶斯模型:共轭线性回归(精确采样)、非共轭空间回归(NUTS)、层次回归(NUTS);攻击目标覆盖后验均值、后验方差(附录 E)和二选一决策。
    • 威胁设定为白盒;操纵方式为删除/复制,Meuse 实验仅允许删除,氡实验额外限制不能删目标县的户。
    • 对比为论文四种启发式互比及附录 F 的朴素支持分数基线;未与 Carreau et al. (2025) 的 KL 攻击做数值对照。
    • 重复次数:回归实验每攻击 10 次,Meuse 每启发式 5 次,氡实验报告的后验期望为 4 条独立链各 5000 抽样的平均(Monte Carlo 标准误约 2)。
    • 论文未报告防御方法下的攻击效果,也未报告攻击的运行耗时或总查询/采样开销数字。
  6. 总结一下论文的主要内容

    用 MMD 替换 KL 的后验吸引框架:只指定目标矩或目标决策即可,删除/复制少量观测就能操纵贝叶斯推断与决策。

    一篇贝叶斯对抗稳健性方向的攻击论文,研究数据投毒如何操纵贝叶斯推断与下游决策。

    • 问题:已有后验吸引攻击(Carreau et al. 2025)以 KL 散度为目标,要求攻击者完整指定对抗后验;作者认为现实中攻击者通常只关心少数后验矩或某个下游决策。
    • 方法:把目标换成 MMD——矩匹配核只约束选定后验矩,决策核把诱导目标贝叶斯行动归约为把效用差距期望推到 −γ 以下;梯度由只需后验样本的协方差估计器(Algorithm 1)给出,用 SGD-R2、Adam-R2、FGSM、ISCD 四种启发式求解;投影 SGD 在精确采样下有 O(1/T) 驻点保证(Theorem 4.4)。
    • 结果一(模拟回归):B=100 时矩匹配核把 E[β1] 推到约 0,RBF 核只到约 0.5;矩匹配对未靶向的 β2 连带扭曲更大(约 −0.8 移到约 0.7)。
    • 结果二(Meuse,MCMC):仅删除 20/152 个点(Adam-R2),βFFREQ 后验均值从 0.42 降到 0.05,95% CI 变为 [−0.21,0.30];朴素支持分数基线只降到中位数 0.27。
    • 结果三(氡决策):删除 7/919 户(0.76%,均不在目标县),Lake County 效用差后验均值从 188.4 降到 −23.9,贝叶斯行动从修复翻转为不行动;作者称层次模型的部分池化正是攻击传播的通道。
    • 作者结论:贝叶斯决策可能很容易被翻转;同一机制反向可用作审计贝叶斯决策稳健性的诊断工具;计算开销、防御扩展与高风险场景下的稳健性评估留作未来工作。
阅读原文arxiv.org