跳到正文
原文

CoLAT:标签投毒下鲁棒图神经网络的对比对抗训练

Contrastive Adversarial Training for Robust Graph Neural Networks under Label Poisoning

arXiv:对抗攻击、后门与投毒· arXiv:2610.24685· NeurIPS 2026· Manshika Charvi Bissessur, Melis Ilayda Bal, Michael MuehlebachUniversity of Oxford; Max Planck Institute for Intelligent Systems; LIONS – École Polytechnique Fédérale de Lausanne; Vienna University of Economics and Business本站收录· 2026-10-20· 原文发表防御

论文速读

防御

据论文 PDF 整理(AI 生成),以原文为准

CoLAT用对比不一致分数指导标签翻转做对抗训练,作者称其在多种标签投毒下高于所列GNN防御。

威胁模型训练时标签投毒:对手在预算k内翻转有标签节点的标签,以最大化测试分类误差。

问题
半监督GNN里,少量被篡改的训练标签会经消息传递扩散。作者称现有防御多针对随机噪声或结构扰动,难区分对抗投毒与难例。
方法
CoLAT用边上的间隔对比损失训练检测器,按邻域不一致分数选节点,再赋以分类损失最大的标签,并与分类器交替更新。
实验与结果
GCN上比较NTK、SMulti。作者称多数预算下CoLAT测试准确率更高;Table 1中Citeseer的SMulti 5%与20%、PubMed的SMulti 10%由PIGNN更高。大图攻击为子图近似。
局限与可以继续做的
附录F称未评测针对本防御的完全自适应标签投毒,作者认为设计这类攻击仍是开放问题。实验含GCN、GAT、GraphSAGE及多种图;Table 2与Table 3只比未防御训练。
实验设置GCN、GAT 等 · Cora ML、Citeseer 等 · test accuracy、robust accuracy 等
威胁模型
训练时标签投毒:对手在预算k内翻转有标签节点的标签,以最大化测试分类误差。式(1)的攻击面是标签而非图结构。评测攻击为LafAK、NTK与多分类SMulti。
被测模型
GCNGATGraphSAGE
基准
Cora MLCiteseerPubMedAmazon PhotoOGBN-ArXivActorCoauthor-CSCoauthor-PhysicsAmazon-ratings
指标
test accuracyrobust accuracyclean accuracy
AI 导读研究提出 CoLAT,一种面向标签投毒下鲁棒节点分类的对比对抗训练框架,利用结构感知检测模型找出标签与结构不一致的高风险节点,并引导训练中的对抗标签翻转。交替优化在实施结构感知对抗训练的同时隐式清洗部分受污染标签;在多个基准上,CoLAT 在不同投毒强度下均优于现有防御,并可高效扩展到大规模图。

研究提出 CoLAT,一种面向标签投毒下鲁棒节点分类的对比对抗训练框架,利用结构感知检测模型找出标签与结构不一致的高风险节点,并引导训练中的对抗标签翻转。交替优化在实施结构感知对抗训练的同时隐式清洗部分受污染标签;在多个基准上,CoLAT 在不同投毒强度下均优于现有防御,并可高效扩展到大规模图。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    少量训练标签投毒会经消息传递扩散,CoLAT用对比分数指导对抗标签翻转。

    少量训练标签被投毒后,会经GNN消息传递影响图中大量节点;作者称现有防御主要针对标签噪声,难以分开对抗投毒与难例。

    • 场景:半监督节点分类只有子集VL带标签。作者称消息传递会使少量被篡改标签影响图的大部分,从而放大攻击(Lingam et al., 2024)。
    • 现有不足:作者称标签投毒防御很少;除正则方法(Zhang et al., 2020)外,先前工作多处理标签噪声(Qian et al., 2023)。对抗训练此前主要针对结构扰动(Gosch et al., 2023);对比学习多作表示正则,而未用来识别对抗标签扰动。
    • 核心观察:作者借用同质性先验,即相连节点倾向同类(McPherson et al., 2001)。标签与局部邻域不一致的节点,被当作更易受对抗操纵的对象。
    • 提出方法:提出CoLAT(Contrastive Label-flipping for Adversarial Training)。对比检测模型选出高不一致节点,再赋以最大化分类损失的标签,并与分类器交替优化,以近似标签投毒的minimax。
    • 威胁模型:
      • 目标:对手构造扰动标签集Ỹ,在预算约束下最大化测试分类误差。式(1)用训练损失上的minimax作为直接形式化。
      • 能力:只在有标签节点上翻转标签,翻转次数不超过预算k。论文未把该威胁写成white-box或black-box。
      • 受害系统:无向无权图上的半监督节点分类GNN。评测攻击为二分类的LafAK、NTK,以及多分类SMulti;作者称它们用线性或核代理近似双层问题,且不明显改变图同质性。
      • 成功判定:干净测试标签上的测试准确率。训练被投毒时称robust accuracy;训练与测试都干净时称clean accuracy。
  2. 有哪些相关研究?

    作者称标签投毒防御较少,对比学习多只作表示正则而非对抗选点。

    图上的对抗攻击

    • 结构攻击:作者综述的evasion与poisoning主要通过拓扑扰动,包括GOttack(Alom et al., 2025)、Zang et al. (2020)、元学习攻击(Zügner and Günnemann, 2019a)、Zügner et al. (2018)与Dai et al. (2018)。论文未逐篇批评这些方法。
    • 标签投毒:作者称这类训练时攻击仍较少被研究。做法包括基于梯度的标签传播攻击(Liu et al., 2022),以及用线性化或神经正切核近似GNN,使双层优化可解(Lingam et al., 2024; Zhang et al., 2020)。

    图上的防御

    • 结构防御为主:作者列举Yuan et al. (2024)、Li et al. (2024a)、低秩防御(Entezari et al., 2020)、GNNGuard(Zhang and Zitnik, 2020)、图结构学习(Jin et al., 2020)与图对比学习(You et al., 2020),并称它们主要针对结构扰动。
    • 标签投毒与认证:作者称明确考虑标签投毒稳健性的工作有限,点名Zhang et al. (2020)与精确认证(Sabanayagam et al., 2025)。标准分类上的标签投毒对抗训练见Bal et al. (2025)、Biggio et al. (2012);作者称其在图设定中仍大多未被研究。

    标签噪声

    • 与投毒的差别:作者称标签噪声通常是与输入无关的随机翻转;对抗标签投毒则依赖数据,并以最大化性能下降为目标。综述见Wang et al. (2024)。
    • 噪声下的方法:损失正则(Du et al., 2023; Zhang et al., 2020)、图结构增广(Dai et al., 2021; Qian et al., 2023)、对比学习(Xue et al., 2022; Yuan et al., 2023)。作者称现有对比方法主要把对比学习当作表示正则,而不是检测对抗标签集的机制。

    基线与基准

    • 基线方法:未防御的clean training;标签投毒防御CP(Zhang et al., 2020);按Lingam et al. (2024)纳入的成对噪声防御PIGNN(Du et al., 2023)、CRGNN(Li et al., 2024b)、RTGNN(Qian et al., 2023)。作者排除训练前做数据清洗的方法。
    • 基准:Cora ML、Citeseer、PubMed、Amazon Photo、OGBN-ArXiv、Actor,以及附录中的Coauthor-CS、Coauthor-Physics、Amazon-ratings。攻击为LafAK、NTK、SMulti。

    作者称,据其所知,CoLAT是把对比检测与对抗训练结合起来、用以防御标签投毒的首个方法。

  3. 论文如何解决这个问题?

    CoLAT把内层最大化拆成对比选点与损失最大的标签赋值,再交替训练分类器。

    CoLAT把标签投毒写成分类器与对手的双层问题,再用结构感知的交替更新近似组合搜索。

    问题设定

    无向无权图G=(V,A,X),有标签子集VL,干净one-hot标签为Y。GNN经L层AGGREGATE与COMBINE得到表示,再经线性头和softmax得到类别分布pθi。干净训练最小化VL上的交叉熵。对手在预算k内得到Ỹ。

    作者把交互写成训练损失上的minimax:

    minθmaxỸ1/(|VL|)∑i∈ VLℓ(pθ i,ỹi)

    约束是标签翻转次数不超过k。作者称内层因标签组合空间而难解,因而从双层对抗训练视角拆成“改哪些点”和“改成什么标签”(Robey et al., 2024; Bal et al., 2025)。

    对比检测与选点

    • 检测模型:gφ把节点映到ℓ2归一化嵌入。正文设定它与分类器fθ同架构、参数分开,以免选择受分类器当前状态混杂;Sec. 5.2与附录D又称二者不必同架构。
    • 对比损失:在边上做带间隔的监督对比损失。同类邻居的嵌入内积被拉向1,异类邻居被推到间隔γ之外。γ∈(0,1),搜索值为0.3、0.5、0.7。作者称投毒标签会破坏这一几何关系,使对比惩罚变高。
    • 不一致分数:节点分数是它与邻居的平均对比距离,除以度数后再对VL做min-max归一化到[0,1];ε>0用于稳定,论文未给出ε的值。
    • 攻击集:取分数最高的k个有标签节点。防御训练的k在3%、5%、10%中搜索,与评测攻击预算不是同一个量。作者称直接用分类损失选点不可靠,因为高损失节点可能只是难例。

    最坏标签与交替优化

    • 标签赋值:对选中节点,在不等于当前标签的one-hot向量中,选择使当前分类损失最大的标签。作者称该约束避免把已经翻转的标签再翻回去。
    • 外层:在当前对抗标签上用随机梯度下降最小化交叉熵。作者称这是为了让模型面对最坏情况的标签投毒(Bal et al., 2025)。
    • 循环:Algorithm 1在每个epoch更新分类器,再用当前标签拟合检测器、计算分数、选点并赋最坏标签。作者称这解开检测器参数与对抗标签的依赖。Cora ML等训练200 epoch,OGBN-ArXiv训练500 epoch。大图可将检测器更新间隔设为δ,实验取1、5、10、20,即分类器每更新δ步,检测器更新1步。
    • 与清洗的关系:作者称交替翻转会隐式恢复部分损坏标签,但目标仍是对抗训练,不是单独的数据清洗。

    成功判定

    测试标签保持干净。训练标签被投毒时记录robust accuracy;训练与测试都干净时记录clean accuracy。二者都在训练过程中于干净测试集上跟踪。

  4. 论文做了哪些实验?

    Table 1中CoLAT多高于基线,Citeseer与PubMed的部分SMulti设置例外。

    实验设置

    • 架构:主结果的分类器与检测器均为GCN。另测GAT、GraphSAGE;Actor消融中可用MLP给GCN分类器打分。Cora ML、Citeseer、PubMed、Actor为2层、隐藏维16、dropout 0.5、200 epoch。OGBN-ArXiv为3层、隐藏维256、500 epoch。各方法架构相同。
    • 数据:Table 5中Cora ML为2810节点、训练/验证/测试140/140/2530、同质性0.81;Citeseer为2110、120/120/1870、0.74;PubMed为19717、60/60/19597、0.80;Amazon Photos为7640、160/240/7250、0.80;OGBN-ArXiv为169343、90941/29799/48603、0.63;Actor为7600、4028/2432/1140、0.22。前三个数据集沿用Lingam et al. (2024)的划分与评测协议,并取最大连通分量。
    • 攻击与基线:LafAK、NTK、SMulti,预算多为5%、10%、20%、30%,附录另有40%、50%。基线为clean training、CP、PIGNN、RTGNN、CRGNN。OGBN-ArXiv上NTK与SMulti不能直接扩展,作者把图分成子图、分别攻击再合并,称为近似。Amazon Photo的NTK 30%因优化未收敛而未报告。
    • 协议:每种方法50次超参试验,Coauthor为15次;按验证集选定并固定,CoLAT使用early stopping。结果为5个随机种子的均值,括号为标准差。指标是干净测试标签上的准确率。论文未使用LLM评审,也未报告统计显著性检验。
    • CoLAT超参:翻转预算k∈{3%, 5%, 10%},间隔γ∈{0.3, 0.5, 0.7}。学习率与权重衰减的搜索格见Table 6。

    主结果

    Table 1是GCN在三个引文图上的测试准确率。下表只列Cora ML的均值,标准差见原表。

    表格较宽,可左右滑动

    训练方法CleanNTK 30%SMulti 30%
    Clean0.82700.46260.3561
    PIGNN0.82360.45810.4891
    RTGNN0.62970.38170.4364
    CRGNN0.80880.46360.3415
    CP0.81220.46570.3760
    CoLAT0.83770.53420.6739

    据Table 1。

    • 作者称CoLAT在几乎所有设置中robust accuracy更高,并在20%、30%等更强投毒下超过基线。同表并非处处最高:Citeseer的SMulti 5%为PIGNN 0.7328、CoLAT 0.7095;SMulti 20%为PIGNN 0.6981、CoLAT 0.6200。PubMed的SMulti 10%为PIGNN 0.7983、CoLAT 0.7844。
    • Table 1的Clean列中,CoLAT为0.8377、0.7420、0.8171,未防御GCN为0.8270、0.7410、0.7940。作者称干净数据上CoLAT与vanilla GCN相当,且在所讨论情形中更高。Table 2的OGBN-ArXiv Clean列则是CoLAT 0.7055、未防御0.7086。
    • 作者称鲁棒性来自隐式清洗和额外对抗标签。Figure 2:Cora ML、SMulti 10%,28个初始投毒节点中恢复10个真实标签、7个改为非真实类,并翻转13个干净节点;正文称恢复36%的投毒标签,测试准确率提高12%。Figure 7对应正文称,Cora-ML、NTK 10%即使没有显式清洗,对抗训练仍带来10%的测试准确率提高。

    规模、异质图与其他攻击

    • OGBN-ArXiv(Table 2,子图近似攻击):未防御GCN在NTK 30%为0.4741、SMulti 30%为0.207;CoLAT为0.6184与0.2485。NTK 10%上CoLAT为0.6806,未防御为0.6839。作者称投毒加重时未防御训练下降更快。作者还称CoLAT在边上计算,复杂度为O(E);PIGNN依赖稠密n×n重构,CRGNN在全部节点对上算对比损失,为O(n²)。
    • 异质图:Table 3的Actor上,NTK低预算时CoLAT低于或接近未防御,如Clean为0.2777对0.2942;SMulti 10%为0.2435对0.1997,30%为0.1444对0.1079。作者称收益小于同质图,因为对比分数把同类邻居当正例,而Actor的边是演员共现。Table 14的Amazon-ratings上,NTK 50%为CoLAT 0.2903、未防御0.2806;SMulti 50%为CoLAT 0.050、未防御0.071。
    • 附录:Table 7中Amazon Photo、SMulti 30%为CoLAT 0.7935、clean training 0.4771;作者称相对clean training在20%、30%分别提高22%与31%。Table 9中Cora-ML、SMulti 50%为CoLAT 0.6114、clean training 0.2764。Table 10的LafAK在高预算上CoLAT多为表中最高,但PubMed、LafAK 5%为PIGNN 0.7443、CoLAT 0.7211。Table 8作者称除一个配置外均优于基线;表中Coauthor-CS的NTK 10%为PIGNN 0.916、CoLAT 0.8932。

    其他消融与分析

    • 架构(Figure 3,Cora ML):作者称GAT、GraphSAGE上的行为与GCN类似;GraphSAGE在SMulti下所有投毒率超过72%,30%时增益最高达31%。Table 11中GAT、LafAK 30%为CoLAT 0.7605、clean training 0.5298。
    • logit启发式(Figure 4):作者称Cora ML、30%时,该启发式在NTK下只提高0.4%,检测模型为13%;SMulti下启发式约5%,检测模型最高31%。LafAK数字见Table 13。
    • 一步过滤(Figure 4):检测模型训练100 epoch后只翻转一次。作者称NTK 20%时对抗训练约提高13%、过滤约1%;SMulti 20%时约26%与8%。LafAK见Table 12。
    • 更新间隔(Figure 5):δ∈{1,5,10,20}。作者称较低频率仍高于clean training并缩短训练时间;正文未给出各δ的准确率。
    • 选最一致节点(Table 4):Cora-ML、SMulti 30%时,选不一致节点为0.6739,选一致节点为0.3757,clean training为0.3561。
    • 时间与显存(Table 16,Coauthor-Physics,A100-SXM4-40GB):CoLAT为7.67秒、2.77 GB;clean GCN为4.23秒、2.76 GB;PiGNN显存OOM(69.22 GB)。
  5. 有什么可以进一步探索的点?

    作者称未评测针对检测器的自适应投毒,并视其构造为开放问题。

    作者指出的局限与后续方向

    • 不能覆盖全部攻击(Conclusion、附录F):作者称没有任何防御在所有攻击设置下都普遍稳健(Papernot et al., 2016),也不能保证对全部可能策略或自适应策略稳健。
    • 未做针对本防御的自适应攻击(附录F):作者写明未考虑专门针对该防御的完全自适应标签投毒。若攻击者针对检测机制,或利用其结构假设,性能可能下降。
    • 构造代价(附录F):作者称针对对抗训练防御构造此类攻击计算昂贵,且并不简单(Mujkanovic et al., 2022)。对手需在双层优化中同时考虑对比选点和不断变化的对抗训练动态,难以扩展。
    • 开放问题(附录F):作者称设计强自适应攻击仍是开放问题。作者同时认为,多种攻击类型与预算上的提高说明,结构感知对抗训练提供了有用的归纳偏置。
    • 方向(Conclusion):作者认为把结构一致性纳入对抗训练,是提高图模型对标签损坏韧性的一个有希望的方向。

    实验覆盖范围

    • 主分类器为GCN;GAT与GraphSAGE见Sec. 5.2和Table 11。Table 15在Actor上比较了用MLP logits与GCN logits给GCN分类器选点。
    • 数据集包括Table 5的八个图,以及Table 14的Amazon-ratings。攻击为LafAK、NTK、SMulti,预算写到5%–30%,部分数据写到40%、50%。
    • Table 1报告了clean training、CP、PIGNN、RTGNN、CRGNN与CoLAT。Table 2、Table 3只比较CoLAT与clean training。
    • 结果为5个随机种子的均值;附录A.3写明超参试验为50次,Coauthor为15次。指标是干净测试标签上的准确率。论文未报告统计显著性检验。
    • 附录F写明未纳入针对CoLAT的完全自适应标签投毒。Table 2注写明OGBN-ArXiv上的NTK与SMulti是子图攻击后合并的近似。Sec. C.1写明Amazon Photo的NTK 30%因攻击优化未收敛而未报告。
  6. 总结一下论文的主要内容

    CoLAT用邻域不一致分数选点并做最坏标签翻转,以训练抗标签投毒的GNN。

    CoLAT是面向图半监督节点分类、抵御训练标签投毒的对比–对抗训练方法。

    • 问题:少量被篡改的训练标签会经消息传递扩散。作者认为现有方法多处理随机噪声或结构攻击,难以把对抗投毒和难例分开。
    • 做法:检测器在边上用间隔对比损失学习嵌入,按邻域不一致分数取top-k节点,再赋以当前分类损失最大且不同于当前标签的one-hot标签;分类器在这些标签上最小化交叉熵。二者按Algorithm 1交替,以近似预算k下的minimax。
    • 主结果:Table 1、GCN、Cora ML、SMulti 30%时,CoLAT测试准确率为0.6739,未防御GCN为0.3561;同表PubMed、SMulti 30%为0.7114对0.4989。Citeseer的SMulti 5%与20%、PubMed的SMulti 10%上,PIGNN高于CoLAT。
    • 其他结果:Table 2在子图近似的OGBN-ArXiv、NTK 30%上,CoLAT为0.6184,未防御为0.4741。Figure 2在Cora ML、SMulti 10%上将28个投毒节点中的10个恢复为真实标签,同时也会翻转干净节点。异质图Actor上,SMulti的提高小于同质图(Table 3)。
    • 作者结论:作者称在文献中的多种标签投毒策略和基准上,CoLAT提高了稳健性,且干净数据上仍有竞争力;同时没有任何防御对所有攻击都普遍稳健,针对本方法的自适应攻击仍是开放问题。

相关论文

共同使用 Amazon Photo
共同使用 Cora ML
再看 3 篇
共同使用 Citeseer
共同使用 Cora ML
阅读原文NeurIPS 2026