让提示词桥接防御知识:基于漏洞感知 GPL 的可迁移图净化方法 ProGAP
Let Prompts Bridge Defense Knowledge: Transferable Graph Purification via Vulnerability-Aware GPL
作者提出图对抗净化方案 ProGAP,用漏洞感知图提示学习迁移防御知识,作者称在 78% 评测场景中优于 8 个 SOTA 基线。
两种攻击场景:gray-box global poisoning attack(攻击者可见图数据和标签,通过插入或删除边做结构扰动,最大化损害下游分类器)和 white-box adaptive attack(攻击者掌握特征、图结构、标签及防御模型全部细节,包括预训练边检测器、提示词和下游分类器)。
- 现有图对抗净化方法局限于单域防御:单域数据对漏洞模式覆盖不足,且换域需从头重训、计算开销大,难以迁移到跨域多媒体图场景。
- 提出 ProGAP:先在数据丰富的上游图上预训练联合拓扑与语义信息的扰动捕获边检测器,再在下游图为低度、低相似度等易受攻击节点注入漏洞感知提示词,冻结检测器、只优化提示词完成净化。
- 在 10 个图数据集、多种攻击下与 8 个基线对比:作者称 ProGAP 在 78% 场景中取得最佳,Table 1 中 28 个对抗设置里 22 个最优;PubMed 运行时间从 22.85s 降至 10.11s;自适应攻击下也优于基线。
- 作者称未来将探索该方案在更复杂、动态的多媒体场景中的应用(Conclusion)。实验覆盖 10 个数据集、4 种攻击、扰动率最高 50%;论文未报告预训练与提示词优化的迭代次数等超参数细节。
- 被测模型
- ProGAP
- 基准
- CoraCiteSeerCoraMLPubMedComputersPhotoChameleonSquirrelCornellWisconsin
- 指标
- accuracyrunning time
ProGAP 是一种通过漏洞感知图提示学习(GPL)桥接对抗防御知识的可迁移图净化方案,用于防御 GNN 的图对抗扰动。它先在数据丰富的图上预训练扰动捕获边检测器,再用漏洞感知提示向偏置节点注入净化指导,使检测器无需繁重参数更新即可适应下游图分布偏移。实验显示,相较当前最优基线,ProGAP 提升 1%-9%,耗时最多降低 2.2 倍。
深度解读
这篇论文试图解决什么问题?
现有图对抗净化方法局限于单域,作者提出可跨域迁移防御知识的 ProGAP。
核心问题:图对抗净化方法只能在单域使用,无法跨域迁移,导致漏洞模式覆盖不足且重训成本高。
- 问题场景:GNN 广泛用于跨平台用户兴趣建模、跨模态语义对齐等多媒体任务,但其消息传播机制依赖图结构,作者称微小结构扰动即可严重损害性能,因此需要在消息传播前移除对抗边的净化防御。
- 现有方法不足:作者指出两点——(1) 单域数据中漏洞结构出现频率有限,净化器学不到区分对抗扰动与正常结构变化的稳健准则;(2) 换域需从头重训并重复生成对抗样本,计算开销大。
- 核心观察:作者认为对抗扰动具有节点级异质性,集中在低度、低邻居相似度等特定脆弱节点上,因此防御指导应对准这些节点而非均匀施加。
- 论文方案:提出 ProGAP,在数据丰富的上游图上预训练扰动捕获边检测器,再用漏洞感知图提示学习(vulnerability-aware GPL)把防御知识迁移到下游图,冻结检测器、只优化提示词。
- 威胁模型(3.2 节):
- 攻击者目标:通过插入或删除边做结构扰动,最大化损害下游分类器整体性能。
- gray-box global poisoning attack:攻击者可见图数据和标签,基于代理 GNN 生成扰动。
- white-box adaptive attack:攻击者掌握特征、图结构、标签及防御方模型全部细节(预训练边检测器、提示词、下游分类器),目标是绕过提示引导的净化。
- 受害系统:图上的下游 GNN 分类器。
有哪些相关研究?
相关工作分图对抗防御、图知识迁移、跨域图提示学习三组,作者称它们均不能跨域迁移防御知识。
图对抗防御
- GCN-SVD (2020):对图做低秩近似以净化结构。
- GPR-GAE (2025):将稳健性与分类器分离,用多个 Generalized PageRank 滤波器做图净化。
- ProGNN (2020)、GADC (2024):放弃净化路线,改设计稳健 GNN 架构;前者联合学习图的低秩、稀疏与特征平滑性质,后者提出基于 Laplacian 距离扰动的 min-max 优化。论文指出这些方法的局限是只能在单域防御、不能跨域迁移。
图知识迁移
- 预训练+微调范式:在源图上预训练 GNN 再在目标图微调,是主流范式;论文指出全量微调效率低,且易过拟合和灾难性遗忘。
- 图提示学习:作为轻量迁移机制被越来越多采用,以降低资源需求。
跨域图提示学习
- GPPT (2022):把独立节点改造成 token pair。
- GPF / GPF-Plus (2023):在输入图特征空间引入可学习参数作为通用提示。
- All-in-One (2023)、MultiGprompt (2024):前者把独立 token 扩展为提示图,后者引入多任务预训练与双提示机制。论文指出这些方法都关注预训练与下游任务的兼容性,而本文用漏洞感知提示实现防御知识的跨域迁移。
基线与基准
- 防御基线:GNNGuard、GCN-SVD、JaccardGCN、HANG-quad、GADC、GPR-GAE、GRAND、Soft-Median-GDC 共 8 个;GPL 对比基线为 GPF、GPF-Plus(依据基准工作 ProG (2024) 选取)。
- 数据集:Cora、CiteSeer、CoraML、PubMed、Computers、Photo 六个同配图,Chameleon、Squirrel、Cornell、Wisconsin 四个异配图。
作者将本文定位为:首个把图提示学习用于对抗防御知识跨域迁移的方案——原文表述为现有提示方法关注任务兼容性,而本文用漏洞感知提示做防御知识迁移。
论文如何解决这个问题?
ProGAP 分三步:上游预训练扰动捕获边检测器,下游生成漏洞感知提示词,再在提示引导下净化图。
整体思路:先在数据丰富的上游图上预训练一个联合拓扑与语义信息的扰动捕获边检测器,再在下游图识别脆弱节点并注入漏洞感知提示词,冻结检测器、只优化提示词和分类头,实现跨域防御知识迁移(Figure 2)。
通用对抗知识感知(4.2 节)
- 扰动构造:用 PGD 攻击扰动干净图得到 Ĝ,为边打二值标签:攻击者插入的边标 0,保留的正常边标 1。作者称 PGD 是能暴露通用对抗模式的代表性梯度攻击。
- 双评估器:拓扑评估器 D_t 用 GCN 学结构表示,拼接原始节点特征后经线性层输出边为对抗边的概率 t_uv;语义评估器 D_s 用节点特征余弦相似度给分 s_uv。
- 注意力融合:最终边得分 duv = α1 · tuv + (1−α1) · suv,α₁ 为可学习权重;用预测得分与边标签的交叉熵损失训练检测器。
漏洞感知提示生成(4.3 节)
- 脆弱节点识别:先按 H=1/(|E|)∑(u,v)∈ E sim(Xu,Xv) 估计全图同配性(sim 为余弦相似度),再据此自适应定阈值,找出低度节点集 S_d 和低相似度节点集 S_s。
- 偏置节点扩展:计算节点与正常节点的连接比例作为 connection score,低于阈值 τ_ld、τ_ls 的节点记为偏置节点集 S_d′、S_s′,即主要与脆弱节点相连的节点也被纳入。
- 提示注入:度漏洞提示 token p_d 加给 S_d′ 节点,相似度漏洞提示 token p_s 加给 S_s′ 节点;同属于两集合的节点用可学习融合权重加权多个提示。
提示引导的图净化(4.4 节)
- 净化:提示增强后的图送入两个预训练评估模块,边得分低于阈值 τ_edge 的边判为对抗边并删除,得到净化图 G_p。
- 伪标签:引入 structure-agnostic MLP 为少量无标签节点生成高置信伪标签,与有标签节点合并为增广训练集 V_aug;作者给出的理由是对抗扰动破坏局部结构但全局特征分布相对稳定。
- 优化:最小化分类损失 Lcls=−∑ui∈ Vaug yi log fθ1(Gp),梯度同时回传到提示词 {p_d, p_s} 和分类头 θ₁,预训练检测器保持冻结。
成功判定与评测方式
- 判定方式:以下游节点分类准确率(% ± σ)衡量防御效果,运行时间(秒)衡量效率。
- 攻击设置:非自适应攻击用 MetaAttack、GraD、Heuristic attack,扰动率 25% 和 50%;自适应攻击用 Greedy-Grad-Descent,分 evasion 与 poisoned 两种。
论文做了哪些实验?
10 个数据集、8 个防御基线、4 种攻击下评测,作者称 ProGAP 在 78% 场景最优且耗时更低。
实验设置
- 数据集:10 个图基准——同配图 Cora、CiteSeer、CoraML、PubMed、Computers、Photo,异配图 Chameleon、Squirrel、Cornell、Wisconsin;论文未报告各数据集规模。
- 上游预训练设置:ProGAP-Pu、ProGAP-C、ProGAP-Ph 分别以 PubMed、Computers、Photo 为上游预训练数据集,对应模型提供方在大图上预训练、用户在跨域图上做 GPL 的场景。
- 基线:8 个防御方法 GCN-SVD、JaccardGCN、GNNGuard、HANG-quad、GADC、GPR-GAE、GRAND、Soft-Median-GDC,另有无防御 GCN;GPL 对比为 GPF、GPF-Plus 和 Without Prompt。
- 攻击:非自适应为 MetaAttack(M)、GraD(G)、Heuristic(H),扰动率 25%/50%;自适应为 Greedy-Grad-Descent 的 evasion 与 poisoned attack。
- 指标:节点分类准确率(% ± σ,论文未写明重复次数)和总运行时间(秒)。
主结果
Table 1(准确率 %,25%/50% 扰动,ProGAP 三个变体取以 PubMed 为上游的 ProGAP-Pu 列):
表格较宽,可左右滑动
数据集 攻击 GCN GCN-SVD GADC GPR-GAE ProGAP-Pu Cora M-50 35.23 44.13 68.15 65.20 77.31 Cora G-50 30.61 52.91 68.94 65.59 74.96 CiteSeer M-50 41.15 52.03 61.01 64.99 69.70 CoraML H-50 66.84 64.88 73.47 72.18 77.51 PubMed H-50 63.53 81.62 52.59 82.22 84.08 PubMed M-25 70.53 82.62 75.40 83.97 83.64 (据 Table 1,仅列部分设置;JaccardGCN、GNNGuard、HANG-quad 三列省略。)
- 作者解读:ProGAP 在 28 个对抗设置中的 22 个取得最佳,在更高扰动率下优势更明显;摘要与引言称在 78% 评测场景中优于 8 个 SOTA 基线、提升 1%-9%。
- 例外:干净图上 GCN-SVD 和 GNNGuard 略优于 ProGAP;GADC、GPR-GAE 在个别设置(如 PubMed M-25)超过 ProGAP-Pu,作者称其跨数据集表现不稳定。
- 跨域:作者称即使上游是产品销售数据集(Computers、Photo),下游仍取得 SOTA 表现,认为上游学到的是域无关表示。
GPL 迁移效果(RQ2,Figure 3、6)
- 测了什么:在 Cora、CiteSeer、CoraML、PubMed 上、25% 扰动率下,对比 ProGAP 与 GPF-Plus、GPF、Without Prompt(Figure 3 为柱状图,转换文本无数值)。
- 结果:作者称 GPL 迁移的预训练模型普遍优于直接应用的预训练模型,漏洞感知提示优于通用提示;Figure 6 的嵌入可视化中,作者称 GPL 在 CiteSeer 和 Cora 上带来更大的类间分离度 S 和更小的类内方差 CV。
- 作者解读:通用提示只做特征空间适配,而本文提示针对易受攻击的偏置节点。
效率(RQ3,Table 2)
- 测了什么:各防御方法在四个数据集上的总运行时间。ProGAP 为 Cora 4.09s、CiteSeer 5.15s、CoraML 5.93s、PubMed 10.11s;PubMed 上 HANG-quad 22.85s、GPR-GAE 53.46s、GCN-SVD 169.53s、GADC 13.10s。
- 作者解读:效率来自提示学习把待更新参数减到单个 token,以及可迁移检测器免去逐图重复生成扰动;摘要称耗时最多减少 2.2 倍。
自适应攻击(RQ4,Table 3)
- 测了什么:white-box 自适应 evasion 与 poisoned 攻击下的准确率,攻击者掌握防御全部细节。
- 结果:ProGAP 在全部 8 个设置中最高,如 evasion 下 Cora 71.49%、CiteSeer 65.97%、PubMed 84.00%、CoraML 73.85%;poisoned 下 Cora 72.14%、CiteSeer 67.69%、PubMed 84.64%、CoraML 75.60%。GNNGuard 与 Soft-Median-GDC 在 PubMed 上 OOM。
- 作者解读:即使攻击者获得防御机制完整信息,方案仍能有效重建邻接矩阵。
其他消融与分析
- 组件消融(Table 4,G-25/M-25):去掉 D_t 或 D_s 下降最大(如 Cora G-25 从 76.94% 分别降至 60.50%、65.66%);去注意力降幅中等;去伪标签仅略降;去 p_s 或 p_d 均有下降。
- 同配性恢复(Figure 4、5):作者称净化后节点特征与嵌入的同配性均有提升。
- 异配迁移(RQ6,Figure 7):从同配参考网络迁移到 Chameleon、Squirrel,Metattack 10%/25% 扰动下,作者称 ProGAP 优于基线(图为柱状图,转换文本无数值)。
有什么可以进一步探索的点?
作者仅提出未来探索更复杂动态的多媒体场景;实验覆盖 10 数据集、4 种攻击。
作者指出的局限与后续方向
- 后续方向:作者计划未来探索该方案在更复杂、动态的多媒体场景中的应用(Conclusion)。论文未专门讨论其他局限。
实验覆盖范围
- 被测对象:10 个图数据集(6 个同配、4 个异配),防御基线 8 个,GPL 基线 2 个;下游任务为节点分类。
- 攻击覆盖:非自适应攻击 3 种(MetaAttack、GraD、Heuristic),扰动率 25% 和 50%;自适应攻击 1 种(Greedy-Grad-Descent),分 evasion 与 poisoned;异配迁移实验用 Metattack、扰动率 10% 和 25%。
- 主实验范围:Table 1 主结果覆盖 Cora、CiteSeer、CoraML、PubMed 四个数据集;Computers、Photo 仅作为上游预训练数据集出现在变体名中,Cornell、Wisconsin 列入数据集清单但未在结果表中出现。
- 自适应攻击范围:Table 3 仅在 Cora、CiteSeer、PubMed、CoraML 上评测,基线只含 GCN、GCN-SVD、GNNGuard、GRAND、Soft-Median-GDC。
- 论文未报告:预训练和提示词优化的迭代次数、学习率等超参数,实验重复次数(仅给出 ± σ),以及 Figure 3、7 的具体数值。
总结一下论文的主要内容
ProGAP 用漏洞感知图提示学习把图对抗防御知识跨域迁移,作者称 78% 场景优于 SOTA。
一篇图对抗防御论文,提出可迁移图净化方案 ProGAP:现有净化方法只能在单域使用,漏洞模式覆盖不足且换域需从头重训。
- 方法:上游用 PGD 扰动构造边标签,预训练联合拓扑评估器与语义评估器(注意力融合)的扰动捕获边检测器;下游按图同配性自适应识别低度、低相似度节点及其相连的偏置节点,注入度漏洞提示 p_d 与相似度漏洞提示 p_s;冻结检测器,只优化提示词与分类头,并用 structure-agnostic MLP 的伪标签扩充训练集。
- 威胁模型:gray-box global poisoning attack 与掌握防御全部细节的 white-box adaptive attack,攻击方式为插入或删除边。
- 主结果:作者称在 78% 评测场景中优于 8 个 SOTA 基线、提升 1%-9%;Table 1 中 28 个对抗设置里 22 个最佳,如 Cora M-50 下 ProGAP-Pu 77.31% 对 GADC 68.15%。
- 效率:PubMed 总运行时间 10.11s,低于 HANG-quad 的 22.85s 和 GPR-GAE 的 53.46s(Table 2);摘要称耗时最多减少 2.2 倍。
- 自适应攻击:Table 3 中 8 个设置全部最高,如 poisoned attack 下 PubMed 84.64%。
- 作者结论:轻量提示词可作为对抗拓扑知识的跨域迁移载体,漏洞感知提示比通用提示实现更稳健的迁移;作者计划未来探索更复杂、动态的多媒体场景。