GPromptShield:提升图提示词调优在对抗攻击下的韧性
GPromptShield: Elevating Resilience in Graph Prompt Tuning against Adversarial Attacks
作者提出 GPromptShield 图提示防御系统,称在 5-shot 节点分类、MetaAttack 25% 扰动下 IA-PT 在 Cora 上达 58.82%(Table 1)。
两类攻击场景:gray-box global poisoning attack(攻击者可见图数据和标签、不可见模型细节,如 MetaAttack 用 surrogate model)和 white-box adaptive attack(攻击者掌握防御方模型特征、图结构、标签等全部信息)。
- 图提示(graph prompt)设计只关注预训练与下游任务的兼容性,忽视安全问题:作者称对下游图数据做简单结构扰动即可让现有提示失效,节点分类准确率大幅下降。
- 提出 GPromptShield 防御系统:Direct Handling 用混合多防御提示(MD-PT)按度、中心相似度、OOD 边三类过滤策略给不同节点定制特征空间提示,Indirect Amplification(IA-PT)用 MLP 伪标签训练策略绕开受污染结构,并给出存在性理论证明。
- 在 Cora、Citeseer、CoraML 上测 5-shot/10-shot 节点分类,覆盖 MetaAttack、DICE、Random、Heuristic 非自适应攻击和针对四种防御的自适应攻击;作者称 MD-PT 与 IA-PT 在多数设置下优于现有提示,且干净图上未牺牲过多准确率。
- 作者在附录 A.3 写明未对一些非理想情况做详细分析,希望未来工作给出更严格的证明。实验以节点分类为主,链路预测和图分类只做了一般性探索;论文未报告重复次数和方差。
- 威胁模型
- 两类攻击场景:gray-box global poisoning attack(攻击者可见图数据和标签、不可见模型细节,如 MetaAttack 用 surrogate model)和 white-box adaptive attack(攻击者掌握防御方模型特征、图结构、标签等全部信息)。攻击针对图结构,受害系统为冻结的预训练 GNN 加图提示的下游节点分类。
- 被测模型
- MD-PTIA-PT
- 基准
- CoraCiteseerCora-MLPubmedWisconsinogbn-arxivMUTAGCOLLABPROTEINSIMDB-BINARYunit test (Mujkanovic et al., 2022)
- 指标
- classification accuracy
GPromptShield 是图提示词调优的可扩展防御系统,从直接处理与间接放大两方面增强提示词在对抗攻击下的韧性。直接处理向输入图特征空间加入混合多重防御提示词以对抗无效信息,间接放大用训练策略绕过无效成分、放大有效部分。理论推导证明特定条件下不可靠数据上存在无偏提示词,多种对抗攻击场景实验显示该系统提示词韧性更强。
深度解读
这篇论文试图解决什么问题?
现有图提示只关注兼容性,作者称其易被简单图结构扰动误导,需提升对抗鲁棒性。
核心问题:图提示(graph prompt)在下游图数据被对抗扰动时会被误导,现有设计只关注预训练与下游任务的兼容性,忽视了这一安全问题。
- 问题场景:"预训练+提示微调"范式从语言领域扩展到图领域,提示函数冻结预训练 GNN 参数、只调整输入数据空间。作者称对图结构做简单扰动(如加几条无关边)经消息传递机制即可造成严重后果(Figure 1)。
- 现有方法不足:作者指出 GPPT、All-in-one、GPF、GraphPrompt、MultiGPrompt 等提示都聚焦兼容性,忽视潜在安全问题;Figure 3 显示 MetaAttack(20% 扰动率)后现有提示在 Cora、Citeseer 上分类准确率大幅下降。
- 核心观察:作者从数据分布角度分析,攻击使下游训练与测试分布偏离真实分布,少样本下调出的提示会过拟合错误数据;且同一提示不可能适合所有节点,被攻击的偏置节点才需要重点提示。
- 论文提出:一个可扩展的提示防御系统 GPromptShield,从 Direct Handling(混合多防御提示 MD-PT)和 Indirect Amplification(鲁棒训练策略 IA-PT)两个角度增强提示鲁棒性,并给出理论推导。
- 威胁模型:
- 攻击者目标:扰动图结构,使下游节点分类中的提示失效。
- 知识:两种场景——gray-box global poisoning attack(可见图数据和标签,不可见模型细节,如 MetaAttack 用 surrogate model);white-box adaptive attack(掌握防御方模型特征、图结构、标签等全部信息)。
- 能力:在扰动预算约束下增删边(MetaAttack 25%,其余攻击 50%)。
- 受害系统:干净图上预训练并冻结的 GNN,加图提示做少样本下游节点分类。
有哪些相关研究?
相关工作分图提示微调、图预训练、图对抗攻防三组,作者称现有提示均忽视安全问题。
图提示微调
- GPPT(Sun et al., 2022):用 pairwise token 模板(任务 token + 结构 token)改造节点。
- All-in-one(Sun et al., 2023a):把节点级、边级任务统一为图级任务,引入元学习学提示。
- GPF/GPF-plus(Fang et al., 2024):在输入图特征空间加通用可学习参数作提示;本文理论证明借鉴了 GPF 的假设。
- GraphPrompt(Liu et al., 2023b)与 MultiGPrompt(Yu et al., 2024):前者基于子图相似度统一预训练与下游任务;后者用多个 pretext token 和双提示机制。作者指出这些提示都聚焦兼容性,忽视安全问题。
图预训练策略(附录 A.1)
- 对比式:GraphCL(You et al., 2020)、DGI(Velickovic et al., 2019)、GRACE、GCA、MVGRL,通过最大化不同图视图间互信息训练编码器。
- 生成式:GraphMAE(Hou et al., 2022)、GraphMAE2、S2GAE、MaskGAE,以掩码重建为前置任务。
图对抗攻击与防御
- 攻击:MetaAttack(Zügner & Günnemann, 2019,gray-box 元学习攻击)、DICE(Waniek et al., 2018)、Heuristic attack(Li et al., 2022b)、Random attack;自适应攻击方面,Gosch et al. (2024) 把防御分为七类并设计对应自适应攻击,Mujkanovic et al. (2022) 提出含约 2700 张图的 unit test。
- 防御与 OOD 检测:GCNSVD、GRAND、GNNGuard、GCNJaccard 作为自适应攻击的目标防御;Li et al. 提出用对抗边作 OOD 样本训练检测器,本文的 OOD 过滤策略即基于此。
- 语言提示鲁棒性:PromptBench(Zhu et al., 2023)评测语言提示在 DeepWordBug、StressTest、CheckList 等攻击下的鲁棒性,作者称其启发了自己对图提示鲁棒性的研究。
基线与基准:对比基线为 GPF/GPF-plus、All-in-one、GPPT、GraphPrompt、MultiGPrompt、ProG;预训练策略用 GraphCL 和 GraphMAE;数据集为 Cora、Citeseer、Cora-ML 等。
定位:作者称本文把图提示的关注点从兼容性转向对抗场景下的脆弱性,是图提示学习中一个新的视角,且防御系统可直接叠加在现有提示之上。
论文如何解决这个问题?
GPromptShield 含两条路线:MD-PT 按节点过滤策略定制提示,IA-PT 用伪标签绕开污染结构。
整体思路:不为所有节点学一个通用提示,而是按攻击可能针对的敏感点筛出偏置节点、给不同节点加不同的特征空间提示(MD-PT),另用不依赖结构的 MLP 伪标签策略绕开受污染信息(IA-PT),并证明特定条件下存在使模型输出与干净图一致的提示。
问题设定
- 预训练 GNN 模型 f 在干净图上训练并冻结;下游少样本节点分类(每类 k 个标注样本),节点任务被子图化为多跳邻居子图分类。
- 提示函数 ψ 把输入子图变换为提示子图,只优化 ψ 和投影头 θ;攻击使下游图结构产生偏置。
Direct Handling:混合多防御提示 MD-PT
- 三类节点过滤策略:度低于阈值 τdegree 的低度节点集 nld(对应度防御提示 pd);邻居特征平均相似度低于 τsim 的低中心相似度节点集 nls(提示 ps);被 OOD 检测器 fD 判为对抗边两端的节点集 nod(提示 po,检测器来自 Li et al. 的对抗训练范式)。
- 提示融合:每个节点的提示集 P Si 用加权平均 Mean 或自注意力 SA 融合;未命中任何敏感策略的节点加增强提示 pe。提示加在特征空间,作者称特征式提示可根据调优中间状态实时调整受扰子图结构。
- 三个辅助约束:隐藏特征平滑正则 Ls(一阶邻近性);分布损失 Lkl(缩小各过滤场景下偏置节点与其补集节点输出分布的 KL 距离);多提示约束 Lo(用节点重叠矩阵 E 约束不同防御提示的相关性,重叠越高越相似)。
- 调优目标:min ∑ L(Ĝ∗i, yi) + α Ls + β Lkl + γ Lo,即下游损失加三项约束;调优中按阈值 τtune 对子图剪枝,只保留嵌入相似度高于阈值的边。
Indirect Amplification:IA-PT
- 用少样本训练一个不含结构信息的 MLP,为子图生成伪标签,按 softmax 置信度选每类最置信的预测组成新标签集 Vpsu。
- 用 Vpsu 的交叉熵损失调提示、冻结预训练模型;作者称该策略可套用在任意提示模板上,通过减少对偏置结构的关注来缓解干扰。
理论分析
- Theorem 1:在 GPF 的假设(f 可表示为 (A+(1+ϵ)I)XW)下,对攻击后的偏置图 Ã=A+C◦S,存在特征空间提示 P=N×M(N 为提示选择矩阵、M 为提示矩阵)使 f(Ã, X+P) = f(A, X),即模型在偏置数据上产生与干净图一致的输出。
- 证明在附录 A.3:W 可逆时 M 有闭式解;W 不可逆时用伪逆,满列秩时解唯一,否则解不唯一、需额外约束。
论文做了哪些实验?
三个数据集、两种预训练、四类非自适应加四种自适应攻击,5/10-shot 节点分类。
实验设置
- 预训练策略:GraphCL(对比式)与 GraphMAE(生成式);GraphPrompt 和 MultiGPrompt 按其各自模板。
- 对比提示:GPF/GPF-plus、All-in-one、GPPT、GraphPrompt、MultiGPrompt、ProG;本文方法记为 MD-PT 和 IA-PT。
- 数据集:Cora、Citeseer、Cora-ML(取最大连通分量,Table 4);泛化实验另用 Pubmed、Wisconsin、ogbn-arxiv 及图分类数据集 MUTAG、COLLAB、PROTEINS、IMDB-BINARY。
- 攻击:非自适应攻击为 MetaAttack(25% 扰动,记 M-0.25)、DICE、Random、Heuristic(均 50%);自适应攻击用 Mujkanovic et al. (2022) 的 unit test(约 2700 张图),选针对 GCNSVD、GRAND、GNNGuard、GCNJaccard 四种防御的扰动图。
- 设置与指标:5-shot 与 10-shot 节点分类,指标为分类准确率;正文只报 5-shot,10-shot 在附录 A.6/A.7。
- 论文未报告重复次数、方差或统计显著性检验。
主结果
5-shot 非自适应攻击(据 Table 1,GraphMAE 预训练,Cora,准确率%):
表格较宽,可左右滑动
提示 Clean M-0.25 D-0.5 R-0.5 H-0.5 All-in-one 44.67 29.75 30.25 35.83 29.98 GPF 66.71 38.82 33.15 48.53 39.27 GPF-plus 63.40 39.46 33.38 49.84 36.46 GPPT 67.79 43.17 47.71 42.40 35.46 *MD-PT 62.49 62.49 52.61 48.03 51.61 *IA-PT 68.93 68.30 61.90 67.30 66.62 - 作者称除个别情况外,MD-PT/IA-PT 在各攻击下准确率波动保持在 ±10% 以内,而其他提示可波动超过 40%。
- 作者称在干净数据上本文提示在许多情况下仍保持 state-of-the-art,未为鲁棒性牺牲过多准确率;但 Table 1 中存在反例,如 GraphMAE+Cora 干净图上 MD-PT(62.49)低于 GPPT(67.79)。
- 自适应攻击(Table 2):作者称 MD-PT 略逊于 IA-PT,并解释为"直接绕开问题比正面处理更容易";两者相对其他提示仍有竞争力,如 GraphMAE+CoraML 的 GCNSVD 攻击下 IA-PT 66.17、MD-PT 49.17,基线最高为 GPF 48.56。
消融实验
- 设置:对 MD-PT 逐一去掉 pd、ps、po、Lkl、Lo、Ls 六个模块,在 Cora/Citeseer 的 5-shot 与 10-shot、MetaAttack 0.25 与 DICE 0.5 下评测(Table 3)。
- 结果:完整 MD-PT 多数设置最高,如 Citeseer 5-shot Meta 0.25 下 MD-PT 64.20%,各变体 58.97%–63.68%;例外是 Cora 5-shot Meta 0.25 下 w/o pd(62.31%)高于完整 MD-PT(60.12%),Cora 5-shot DICE 0.5 下 w/o Ls(56.46%)高于完整版(54.55%)。
泛化与迁移
- 节点分类与链路预测(附录 A.8,Table 9/10):在 Pubmed、Wisconsin、ogbn-arxiv 等干净数据集上,MD-PT 多数设置有竞争力,如 5-shot Wisconsin 节点分类 MD-PT 50.49 为表中最高;也有反例,如 5-shot ogbn-arxiv 节点分类 MD-PT 18.92 低于 GPF-plus 22.40。
- 图分类(附录 A.9,Table 11):MD-PT 在 MUTAG、COLLAB、PROTEINS 多数设置最高,IMDB-BINARY 10-shot 上 62.57 低于 Pre-train & Fine-tune 的 67.00。
- 迁移攻击(附录 A.10,Table 12):在攻击方式迁移场景下,作者称 IA-PT 仍表现出良好鲁棒性,MD-PT 稍弱但稳定提升 GPF/GPF-plus 的鲁棒性。
其他分析
- Figure 3(引言):MetaAttack 20% 扰动下,Cora 上 GPPT 从约 0.6 降到约 0.2、GPF 从约 0.6 降到约 0.4(雷达图读数),作者据此指出现有提示易被误导。
- 作者在附录 A.4.1 推测原始数据集本身可能含噪声,鲁棒工具在训练中进一步净化了数据。
有什么可以进一步探索的点?
作者仅写明理论证明未覆盖非理想情况;实验以节点分类为主,未报告重复次数。
作者指出的局限与后续方向
- 理论证明的理想化(附录 A.3):作者写明未对一些非理想情况做详细分析,并希望未来工作为不同偏置环境下的鲁棒提示给出更严格的证明和推导。
- 过滤策略的可扩展性(第 4.1 节):作者称本文先提出三种可行过滤方案,随着攻击演化,可以基于更多敏感属性选择节点集——这是作者指出的可扩展方向而非已做工作。
- 论文没有单独的 Limitations 小节,以上两条是论文中明确写出的不足与后续方向。
实验覆盖范围
- 被测对象为两种预训练策略(GraphCL、GraphMAE)加六种现有提示与本文两种提示;受害模型均为冻结的预训练 GNN,论文未报告 GNN 的具体层数或隐藏维度以外的架构细节。
- 主实验为 Cora、Citeseer、Cora-ML 上的 5-shot/10-shot 节点分类;链路预测和图分类只做了一般性探索,且正文只呈现鲁棒性相关结果(第 5.1 节)。
- 非自适应攻击覆盖 MetaAttack、DICE、Random、Heuristic 四种;自适应攻击只选了 unit test 中针对 GCNSVD、GRAND、GNNGuard、GCNJaccard 四种防御的扰动图,未覆盖全部七类。
- 论文未报告每个结果的重复次数、标准差或统计显著性检验;Table 3 中部分数值带 % 号、部分不带,论文未说明原因。
- 攻击只针对图结构扰动,特征攻击未在论文实验中出现。
总结一下论文的主要内容
GPromptShield 从直接处理与间接放大两条路线提升图提示在对抗攻击下的鲁棒性。
一篇 ICLR 2025 的图提示鲁棒性防御论文,提出 GPromptShield 防御系统。
- 问题:作者称现有图提示只关注预训练与下游任务的兼容性,简单图结构扰动即可让提示失效;Figure 3 显示 MetaAttack 20% 扰动下现有提示在 Cora、Citeseer 上准确率大幅下降。
- 方法:MD-PT 按度、中心相似度、OOD 边三类过滤策略给偏置节点定制特征空间提示,配 Ls、Lkl、Lo 三个辅助约束;IA-PT 用 MLP 伪标签绕开受污染结构,可叠加在任意提示上。Theorem 1 称特定条件下存在使模型输出与干净图一致的提示。
- 主结果:5-shot、GraphMAE 预训练、Cora 上,IA-PT 在 M-0.25 下达 68.30%,而基线最高 48.53%(Table 1);自适应攻击下 IA-PT 在 GraphMAE+CoraML 的 GCNSVD 攻击下达 66.17%(Table 2)。
- 例外:干净图上 MD-PT 并非总是最优(如 GraphMAE+Cora 上 62.49 低于 GPPT 67.79);消融中去掉 pd 或 Ls 的变体在个别设置下超过完整版(Table 3)。
- 作者结论:作者称两种策略在自适应与非自适应攻击下都增强了提示韧性,且未为鲁棒性牺牲过多准确率;作者同时写明理论证明未覆盖非理想情况,留待未来工作。