跳到正文
原文

RGDM:鲁棒图扩散模型

RGDM: Robust Graph Diffusion Model

arXiv:对抗攻击、后门与投毒· arXiv:2611.04146· Yancheng Wang, Ping Li, Dongfang Sun, Yingzhen YangSchool of Computing and Augmented Intelligence, Arizona State University; VecML Inc.本站收录· 16 天前· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

作者提出 RGDM,在受攻击图上生成带标签合成节点与边做增强;作者称在 25% Metattack 下 GCN 在 Cora 上提升 13.9 个百分点。

威胁模型防御方在已被 Metattack、Nettack、Topology Attack 扰动的图上训练生成器,不访问配对干净图;自适应评估中 white box 攻击者知道生成器、edge mask、TNN 正则与下游 SG-GSR,在相同绝对 edge flip 预算下攻击最终增强图。

问题
图神经网络易受 Metattack 等图对抗攻击影响,而现有节点级扩散生成方法并未针对从被攻击图中学习鲁棒生成器设计。作者要解决在受攻击图上生成带标签合成节点与边、用于增强半监督节点分类鲁棒性的问题。
方法
RGDM 由 Robust Graph Autoencoder(含边选择机制、稀疏化损失与隐特征截断核范数低秩正则、SHED 稀疏层级边解码器)和带 Classifier-Free Guidance 的 Latent Diffusion Model 组成;生成带标签合成节点及其连边,与原被攻击图合并后训练 GCN、Pro-GNN 或 SG-GSR。
实验与结果
在 Cora、Citeseer、Polblogs、Pubmed 上以 10 次运行评测:25% Metattack 下 RGDM(GCN) 提升 5.9–13.9 个百分点,RGDM(SG-GSR) 提升 1.0–2.6 个百分点;FND/FED 接近干净参考;自适应攻击与异配图(Chameleon、Actor)上增益仍为正。
局限与可以继续做的
作者称方法只适用于节点级图数据生成;Theorem 3.1 只覆盖固定隐特征上的有界线性探针,端到端鲁棒性为经验结论;自适应攻击为固定预算测试,作者称不构成对任意自适应攻击的免疫;联合泛化与鲁棒理论列为未来工作。
实验设置RGDM、GCN 等 · Cora、Citeseer 等 · Accuracy、FND 等
被测模型
RGDMGCNPro-GNNSG-GSRHANGLHS
基准
CoraCiteseerPubmedPolblogsChameleonActorogbn-arxivReddit
指标
AccuracyFNDFEDpaired gain ± paired SDp-valuewall clock time
AI 导读RGDM 图扩散模型通过边选择机制与隐特征低秩正则化,在受对抗攻击的图上生成干净的合成节点与边结构。该模型由 Robust Graph Autoencoder(RGAE)与 Latent Diffusion Model(LDM)两部分组成,合成结构可直接并入给定图。在半监督节点分类中,用原始受攻击图与合成结构合并训练出的 GNN 对多种图对抗攻击的鲁棒性显著提升,代码已公开。

RGDM 图扩散模型通过边选择机制与隐特征低秩正则化,在受对抗攻击的图上生成干净的合成节点与边结构。该模型由 Robust Graph Autoencoder(RGAE)与 Latent Diffusion Model(LDM)两部分组成,合成结构可直接并入给定图。在半监督节点分类中,用原始受攻击图与合成结构合并训练出的 GNN 对多种图对抗攻击的鲁棒性显著提升,代码已公开。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    在被攻击的图上鲁棒地生成带标签合成节点与边,增强半监督节点分类的对抗鲁棒性。

    核心问题:如何在遭受图对抗攻击的图上训练一个鲁棒的节点级生成器,生成带标签的合成图结构(synthetic graph structures, SGS)来提升节点分类的鲁棒性。

    • 场景与动机:扩散模型已被用于数据增强,但作者称图上的扩展主要面向图级增强;节点级方法多为 mix-up 或基于 GAN 的合成,而 GAN 训练不稳定、生成分布与真实数据不匹配(引 [21])。
    • 现有方法不足:作者称节点级扩散方法 DoG [19] 与 LR-FGDM [20] 共享 autoencoder + diffusion 模板,但并未针对对抗鲁棒性训练生成器;在被攻击图上直接训练普通生成器会复现噪声。
    • 核心观察:低秩正则的动机来自 Low Frequency Property(LFP)——作者称在所评估的隐空间中,标签信息比对抗扰动更集中于前导特征方向(Section F.1);Theorem 3.1 通过有界线性探针的谱复杂度给出有条件的补充论证,但作者明确它不是下游 GNN 的保证。
    • 论文提出:Robust Graph Diffusion Model(RGDM),由 Robust Graph Autoencoder(RGAE,含边选择机制与隐特征低秩正则)和 Latent Diffusion Model(LDM)组成;生成合成节点与边并入原被攻击图形成增强图,再训练 GNN。
    • 威胁模型:
      • 攻击者目标:通过 Metattack(untargeted)、Nettack(targeted)、Topology Attack 降低节点分类准确率。
      • 攻击者知识:主实验为 attack-first-then-defend;自适应评估中 white box 攻击者知道生成器、edge mask、TNN 正则与下游 SG-GSR(Section 4.5)。
      • 攻击者能力:按扰动率(Metattack/Topology Attack 0–25%)或预算(Nettack 1–5)扰动边与特征;自适应攻击在相同绝对 edge flip 预算下扰动最终增强图。
      • 受害系统:在被攻击图上训练的 GCN、Pro-GNN、SG-GSR 等节点分类器;防御方训练 RGDM 时不使用配对干净图。
  2. 有哪些相关研究?

    相关工作分三组:图数据增强、图扩散生成、图对抗攻防;RGDM 与 DoG、LR-FGDM 共享模板但把鲁棒设计放进生成器。

    图数据增强

    • Mix-up 类(G-Mixup [8]、Mixup [9]、GraphMix [10]、iGraphMix [12]、NodeMixup [13] 等)——通过 mix-up 扩充标签节点,作者称这类方法能提升 GNN 性能。
    • GAN 类节点/边生成(ImGAGN [42]、Graphsmote [43]、SNS [45] 等)——针对节点与边不平衡生成合成节点和边;作者引视觉领域工作 [21] 称 GAN 训练不稳定、生成分布与真实数据匹配差。
    • 结构/特征/标签修改类([34–41])——修改图结构、特征或节点标签做增强。

    图扩散生成

    • 图级扩散模型([3–7])——生成整张图,作者称其主要面向图级增强。
    • DoG [19]——节点级扩散,用 Bi-Level Neighborhood Decoder(BLND)重建观测邻域,并把低秩正则用于下游 GNN。
    • LR-FGDM [20]——用 Hierarchical Graph Autoencoder(HGAE)加 prototypical 正则做少样本节点分类,后接低秩直推分类器。
    • 论文指出与这两者的区别:RGDM 把边选择、稀疏化目标和低秩正则放进生成器内部,TNN 惩罚作用于扩散所用的隐特征,SHED 只重建选出的稀疏邻域而非全部观测连边。

    图对抗攻击与防御

    • 攻击:targeted(Nettack [50])针对特定节点,untargeted(Metattack [51]、节点注入 [52])降低整体准确率。
    • 防御三类:对抗训练 [53, 54]、图处理/去噪 [55–58]、模型鲁棒化 [59–65, 33](含 Pro-GNN [57]、SG-GSR [33])。
    • 扩散净化(GDDM [28]、DiffSP [29] 等 [28–32])——用扩散做数据/图净化;论文指出净化观测图与生成额外带标签节点是不同任务,图级净化方法不提供 RGDM 的节点级增强接口。

    基线与基准:增强对比基线为 iGraphMix、ImGAGN、Graphsmote、SNS、DoG、LR-FGDM、DDPM;骨干/防御基线为 GCN、GAT、RGCN、GCN-SVD、GraphBel、UAG、GCORNs、GADC、HANG、STABLE、Pro-GNN、SG-GSR;净化对比为 GDDM、DiffSP。基准为 Cora、Citeseer、Pubmed、Polblogs,另加 Chameleon、Actor(异配)与 ogbn-arxiv、Reddit(大图)。

    作者将本文定位为:与 DoG、LR-FGDM 共享 autoencoder + diffusion 架构,但面向对抗鲁棒学习生成器,并称 RGDM 是首个为节点分类生成合成图结构设计的鲁棒图扩散模型(Conclusions 原话 "marking the first robust graph diffusion model")。

  3. 论文如何解决这个问题?

    RGAE 用边选择与低秩正则学习鲁棒隐特征,LDM 在隐空间按类生成合成节点,SHED 稀疏解码连边,合并后训练下游 GNN。

    整体思路:先训练 Robust Graph Autoencoder(RGAE) 把节点属性与边编码为对扰动鲁棒的隐特征,再在该隐空间训练带 Classifier-Free Guidance(CFG)的 Latent Diffusion Model(LDM) 按类生成合成节点隐特征,解码为节点属性与连边后并入原图,最后在增强图上训练 GCN、Pro-GNN 或 SG-GSR。

    RGAE:编码与边选择

    • 邻域编码:节点属性加位置嵌入后经 GAT 层聚合,注意力仅在观测邻居上计算;拼接节点属性的 MLP 输出得到隐特征 Zi。
    • 边选择机制:学习二值掩码 S 选择连边,用 sigmoid 松弛与 binary Gumbel Softmax 训练、straight through 估计器求梯度,τ = 0.5;掩码只改变生成器的训练表示,不改下游增强保留的原邻接矩阵。
    • SHED 解码器:先用 balanced K-means 把节点分为 K 个均衡簇(簇容量 M = ⌈N/K⌉),分别重建簇间邻居图 C 与簇内邻居图 M;生成时只对激活簇解码,借鉴 classifier-free guidance 的簇索引嵌入。作者称其避免对每个候选邻居全局打分,且重建的邻居图是稀疏的。

    优化目标与低秩正则

    • RGAE 损失:LRGAE = LC + τS LS + τT |K|r0,其中 K := ZZ⊤ 为隐特征 Gram 矩阵,|K|r0 为截断核范数(TNN,尾部特征值之和)。一致性损失 LC 约束属性与层级边重建,稀疏化损失 LS 抑制所选稀疏邻域之外的非零重建。
    • 低秩正则动机:作者称对抗扰动多居于高秩残差成分而干净信号居于低秩子空间;与既有降低邻接矩阵秩的做法不同,该惩罚作用于扩散隐特征。起始秩 r0 = ⌈γq⌉,γ 在 {0.1,…,0.9} 上 5 折交叉验证。
    • Theorem 3.1:对固定隐特征 Z 上的有界线性探针给出直推泛化界,谱尾越小复杂度项越小;作者明确该定理不覆盖类条件生成、标签依赖的自适应攻击或下游 GNN,后者联系是经验的。

    隐空间条件生成

    • LDM + CFG:在 RGAE 编码的标注节点隐特征上训练类条件 LDM(标签 dropout),按类生成 N0 个/类的合成节点隐特征,共 N′ = CN0 个。
    • 增强图构造:合成节点只与原图节点连边,合成节点之间不生成边;邻接矩阵为分块形式,原被攻击邻接块 A 原样保留,标签集并入合成节点标签。

    训练流程与下游训练

    • 两阶段训练(Algorithm 1):先训 RGAE(先只用一致性损失预训 2000 epoch,再优化完整损失 1000 epoch,Adam、lr 0.001、weight decay 1e-5;前 100 epoch 固定掩码做 warm-up),再训 LDM 3000 epoch(Adam、lr 0.0002)。
    • 生成与训练(Algorithm 2):LDM 采样合成节点隐特征,RGAE 解码器解码为属性与连边,形成增强图后训练下游 GNN;合成节点数 N′ 从 1×|VL| 到 10×|VL| 交叉验证选取。
    • 复杂度:TNN 由 Z 的奇异值计算,O(N D′²);SHED 推理复杂度 O(KD′ + di D′ M),作者称其低于全局解码器的 O(D′KM)。
  4. 论文做了哪些实验?

    四个基准、三种攻击、10 次运行:RGDM 对各骨干均提升准确率,GCN 增益最大,SG-GSR 上增益较小但一致。

    实验设置

    • 被测骨干:GCN、Pro-GNN、SG-GSR(主表),附录另含 HANG、LHS(异配);基线含 GAT、RGCN、GCN-SVD、GraphBel、UAG、GCORNs、GADC、STABLE。
    • 数据集:Cora、Citeseer、Pubmed、Polblogs(Table 9 给出规模,如 Pubmed 19,717 节点);异配图为 Chameleon、Actor;大图为 ogbn-arxiv、Reddit。
    • 攻击:Metattack(扰动率 0–25%,Meta-Self/A-Meta-Self)、Nettack(预算 1–5,采样 10% 目标节点)、Topology Attack(0–25%);大图用 improved DICE。
    • 指标与统计:准确率均值 ± 边际 SD,10 次运行;配对评估中同一攻击种子下骨干与增强版共用同一扰动图,报告配对增益 ± 配对 SD(Table 26);显著性为双侧配对 t 检验(9 自由度),Table 27 给出报告显著性水平。
    • 保真度指标:FND(预训练 GCN 提特征)与 FED(预训练 NBFNet 提特征),对干净图基准划分做 10 次随机划分取均值。
    • 合成节点数:交叉验证选取(Tables 18–20),如 25% Metattack 下 Cora 各骨干均为 5×|VL|。

    主结果

    据 Table 1(Metattack,准确率 %,括号内为增强增益):

    表格较宽,可左右滑动

    数据集扰动率GCN → RGDM(GCN)Pro-GNN → RGDM(Pro-GNN)SG-GSR → RGDM(SG-GSR)
    Cora25%47.5 → 61.4 (↑13.9)69.7 → 72.3 (↑2.6)77.8 → 79.1 (↑1.3±0.3)
    Citeseer25%56.9 → 62.8 (↑5.9)69.0 → 70.2 (↑1.2)72.7 → 75.3 (↑2.6±0.4)
    Polblogs25%49.2 → 56.5 (↑7.3)63.2 → 66.9 (↑3.7)87.8 → 88.8 (↑1.0±0.3)
    Pubmed25%75.5 → 81.5 (↑6.0)86.8 → 87.6 (↑0.8)87.2 → 88.6 (↑1.4±0.3)
    Cora15%65.1 → 69.4 (↑4.3)76.4 → 78.3 (↑1.9)78.5 → 80.0 (↑1.5±0.3)
    Pubmed0%(干净)87.2 → 88.1 (↑0.9)87.3 → 88.4 (↑1.1)87.7 → 90.3 (↑2.6)
    • 作者称在 25% Metattack 下 SG-GSR 的配对增益为 1.3/2.6/1.0/1.4 个百分点(Cora/Citeseer/Polblogs/Pubmed),相对强骨干"modest but consistent";对 GCN 的大增益不代表对 SG-GSR 的增益。
    • 干净图(0% 扰动)上 RGDM 也有提升(GCN 提升 1.7/1.7/0.4/0.9 点),作者据此指出增强收益在没有对抗边可过滤时也存在。
    • Nettack(Table 2)与 Topology Attack(Table 12)趋势相同;Table 27 报告最强预算下显著性水平为 Metattack 0.006–0.008、Nettack 0.005–0.006、Topology Attack 0.006–0.007。

    与其他增强方法及 DoG 的对比

    • 增强方法对比(Table 4,25% Metattack,GCN 固定):RGDM(GCN) 为 61.42/62.84/56.47/81.52(Cora/Citeseer/Polblogs/Pubmed),高于 iGraphMix、ImGAGN、Graphsmote、SNS、DoG(59.40/60.10/54.70/79.20)、LR-FGDM(58.90/59.60/54.20/78.90);作者称比 DoG 高 2.02/2.74/1.77/2.32 点。
    • 逐组件对比(Table 5,SG-GSR + 25% Metattack 固定):从 DoG(BLND) 出发,加边选择 +1.0/1.1/1.0/0.8 点,加隐特征 TNN 再 +0.8/1.0/0.9/0.7 点,换 SHED 再 +1.7/2.2/1.6/2.0 点;作者注明这是沿该序列的条件增量,不是独立可加效应。
    • 净化方法对比(Table 29,25% Metattack,SG-GSR 骨干):RGDM(SG-GSR) 79.1/75.3/88.8/88.6,高于 GDDM 与 DiffSP,t 检验 p 值 0.0004–0.0022。

    保真度、异配与自适应攻击

    • FND/FED(Tables 13–14,25% Metattack):RGDM 的 FND 为 8.16/4.44/4.35/3.95,干净参考为 7.90/4.28/4.16/3.79;FED 为 8.34/5.28/6.61/5.34,干净参考为 8.03/5.10/6.31/5.15;均低于 DDPM 与各增强基线。作者称这是经验的保真度度量,干净图只用于评估不用于训练。
    • 异配图(Table 6,LHS 骨干):Chameleon 25% 扰动下 70.03 → 72.41(+2.38),Actor 35.37 → 37.90(+2.53);作者称这支持所选软惩罚,不代表更强的秩缩减总是有益。
    • 自适应攻击(Table 7/34/35,white box,固定绝对预算):攻击最终增强图时 SG-GSR → RGDM(SG-GSR) 为 74.8→77.8、69.5→73.4、84.7→87.6、84.9→87.2;对边选择 mask 可微的变体增益为 2.4/3.2/2.2/1.7 点(未报告 SD 与 p 值)。作者称这些固定预算测试不确立对任意自适应攻击的免疫。

    其他消融与分析

    • 稀疏化损失与低秩正则消融(Table 3,25% Metattack,GCN):去掉稀疏化损失准确率降 4.70/3.87/3.23/3.60 点;完整 RGDM 高于 weight orthogonality 与 low-rank adjacency 两种对比正则。
    • 大图(Table 21,improved DICE,GCN):ogbn-arxiv 20% 扰动下 54.95 → 56.17(+1.22),Reddit 74.53 → 75.99(+1.46);Table 22 显示去掉边选择后增益仅 0.35/0.47 点。
    • 合成节点数(Table 30,Pro-GNN,Cora 25%):5×|VL| 时最佳 72.3,增至 10×|VL| 降至 71.2。
    • DDPM 增强对照(Table 31,Cora 25%):DDPM(Pro-GNN) 68.2 低于不增强的 69.7,RGDM(Pro-GNN) 72.3。
    • 标签比例(Table 32,Cora 25%):2.5%–60% 各档 RGDM(Pro-GNN) 均高于 Pro-GNN。
    • 效率(Table 8/15,单张 A100):SHED 使 RGAE 训练在 Pubmed 上 153 vs 480 分钟(3.14×)、ogbn-arxiv 上 452 vs 2511 分钟(5.56×);每节点生成加速 1.10×/3.27×,作者注明这不是端到端生成或下游推理加速。
    • 净化变体(Table 28,Cora 25%):RGDM(Purification) 71.0、RGDM(GDA) 72.3、两者结合 72.9(Pro-GNN 69.7)。
  5. 有什么可以进一步探索的点?

    作者写明方法仅限节点级生成、定理不覆盖端到端鲁棒性,并把联合泛化与鲁棒理论列为未来工作。

    作者指出的局限与后续方向

    • 适用范围:作者称所提方法只适用于图数据集上的节点级数据生成(NeurIPS Checklist 第 2 项 Limitations,指向 Introduction)。
    • 定理范围:Theorem 3.1 针对固定隐特征上的有界线性探针与独立随机划分,不覆盖类条件生成、标签依赖的自适应攻击或下游 GNN;作者称端到端联系是经验的(Section 3.2、附录 B)。
    • LFP 是经验性质:标签信息集中于前导特征方向是所评估隐核上的经验观察,不是被攻击图的普遍性质,也不是定理假设(Section F.1)。
    • 自适应攻击范围:固定预算的自适应测试不确立对任意 white box 攻击的免疫;对边选择的可微变体是梯度近似,不是全局最优扰动的证明(Section 4.5、附录 F.18)。
    • 未来工作:为数据依赖的表示学习、类条件生成与下游 GNN 建立联合的泛化与鲁棒性理论(附录 B 末段)。
    • 保真度证据的性质:FND/FED 接近干净参考是经验保真度证据,不保证生成结构无错误(Section F.3)。

    实验覆盖范围

    • 被测骨干为 GCN、Pro-GNN、SG-GSR(主表),附录另含 HANG 与 LHS;数据集为 Cora、Citeseer、Pubmed、Polblogs,另加 Chameleon、Actor、ogbn-arxiv、Reddit,共 8 个。
    • 攻击覆盖 Metattack(0–25%)、Nettack(预算 1–5)、Topology Attack(0–25%)、improved DICE(大图)与两种自适应 Metattack 变体;主结果为 10 次运行的均值 ± SD。
    • 显著性检验为配对 t 检验;配对 SD 只在 Metattack 的部分行报告(Table 26),Nettack 与 Topology Attack 未提供配对 SD,其显著性保留报告值(Section F.11)。
    • 自适应评估中"对边选择可微"变体只报告均值准确率,未报告标准差或 p 值(Table 35)。
    • 论文未报告下游 GNN 推理时间;Table 15 的计时只覆盖 RGAE 训练与每节点生成。
  6. 总结一下论文的主要内容

    RGDM 在被攻击图上训练鲁棒节点级扩散生成器,用合成图结构增强下游 GNN,各骨干上准确率均有提升。

    一篇图对抗鲁棒性方向的防御论文:用鲁棒生成式数据增强提升半监督节点分类在图对抗攻击下的准确率。

    • 问题:节点级扩散生成方法(DoG、LR-FGDM)未针对从被攻击图学习鲁棒生成器设计;普通生成器会把攻击噪声复现到合成结构中。
    • 方法:RGDM = RGAE(GAT 编码 + 可学习边选择掩码 + 隐特征 Gram 矩阵的截断核范数低秩正则 + SHED 稀疏层级边解码器)+ 带 CFG 的类条件 LDM;生成带标签合成节点及其连边并入原被攻击图(原邻接块保留),再训练 GCN、Pro-GNN 或 SG-GSR。
    • 主结果:25% Metattack 下,RGDM(GCN) 在四个数据集上提升 5.9–13.9 个百分点,RGDM(SG-GSR) 提升 1.0–2.6 个百分点(配对增益 ± 配对 SD,Table 1);干净图上也有 0.2–2.6 点提升。
    • 保真度:25% Metattack 下 Pubmed 的 FND/FED 为 3.95/5.34,接近干净参考 3.79/5.15,低于 DDPM 与各增强基线(Tables 13–14)。
    • 其他证据:异配图 Chameleon/Actor 上增益 2.38/2.53 点(Table 6);white box 自适应攻击下增益仍为正(Table 7);SHED 使 RGAE 训练在 Pubmed 上加速 3.14×(Table 8)。
    • 作者结论:作者称 RGDM 是首个面向节点分类合成图结构生成的鲁棒图扩散模型,增强一致提升各骨干在三种攻击下的准确率;同时作者明确对强骨干的增益幅度不大、定理不提供端到端保证、固定预算自适应测试不构成对任意攻击的免疫。

相关论文

共同使用 Chameleon
共同使用 Citeseer
再看 3 篇
共同使用 Citeseer
阅读原文arxiv.org