跳到正文
原文

针对文本 Transformer 的梯度对抗攻击

Gradient-based Adversarial Attacks against Text Transformers

arXiv· arXiv:2104.13733· EMNLP 2021· Chuan Guo, Alexandre Sablayrolles, Hervé Jégou, Douwe KielaFacebook AI Research本站收录· 23 天前· 原文发表入选 攻击精选关注度39

论文速读

攻击

据论文 PDF 整理(AI 生成),以原文为准

作者提出 GBDA,用 Gumbel-softmax 参数化对抗分布做梯度优化攻击文本 transformer,白盒下将 BERT 在 AG News 的准确率从 94.2 降至 2.5。

威胁模型白盒攻击:攻击者可访问目标模型梯度,优化对抗分布后采样使模型误分类。

问题
文本离散性使梯度优化难以直接用于对抗攻击,现有黑盒启发式方法常引入不自然改动且效果有限。作者试图用梯度方法生成更流畅、语义更忠实的对抗文本。
方法
提出 GBDA:用 Gumbel-softmax 将对抗样本搜索转化为对连续参数矩阵 Θ 的梯度优化,目标函数结合 margin loss、语言模型困惑度(流畅性)和 BERTScore(语义相似度)软约束,优化后从分布采样攻击。
实验与结果
白盒攻击在 GPT-2、XLM、BERT 上几乎将所有任务准确率降至 10% 以下;迁移攻击(GPT-2→BERT)在多数设置下匹配或超过 BERT-Attack 和 BAE,且只需 hard-label 输出。
局限与可以继续做的
作者指出方法仅限 token 替换,不支持插入和删除;参数矩阵 Θ 大小为 n×V,对长句过度参数化。实验仅覆盖英文分类任务,未涉及其他语言或生成任务。
实验设置BERT、GPT-2 等 · DBPedia、AG News 等 · Clean Acc.、Adv. Acc. 等
威胁模型
白盒攻击:攻击者可访问目标模型梯度,优化对抗分布后采样使模型误分类。黑盒迁移攻击:在 GPT-2 上优化分布,采样查询不同的目标模型,仅需 hard-label 输出(离散标签),不需要连续分数。
被测模型
BERTGPT-2XLM (en-de)ALBERTRoBERTaXLNet
基准
DBPediaAG NewsYelp ReviewsIMDBMNLI
指标
Clean Acc.Adv. Acc.Cosine Sim. (USE)# Queries
AI 导读和推荐理由Facebook AI Research 研究者提出 GBDA 框架,作者称这是针对 Transformer 模型的首个通用梯度攻击。方法不搜索单个对抗样本,而是优化由连续矩阵参数化的对抗样本分布,借助 Gumbel-softmax 实现可微优化,并以语言模型困惑度和 BERTScore 作为流畅性与语义相似度的软约束。白盒攻击在 AG News、DBPedia、Yelp、IMDB 和 MNLI 上攻击 GPT-2、XLM 和 BERT,几乎在所有模型和任务上把目标模型准确率压到 10% 以下,多数情况下与原输入的 USE 余弦相似度高于 0.8;在 AG News 上把 BERT 准确率从 94.2 降到 2.5,超过 BERT-Attack 的 10.6。作者指出方法目前仅支持 token 替换,对抗分布参数存在过度参数化问题。

Facebook AI Research 研究者提出 GBDA 框架,作者称这是针对 Transformer 模型的首个通用梯度攻击。方法不搜索单个对抗样本,而是优化由连续矩阵参数化的对抗样本分布,借助 Gumbel-softmax 实现可微优化,并以语言模型困惑度和 BERTScore 作为流畅性与语义相似度的软约束。白盒攻击在 AG News、DBPedia、Yelp、IMDB 和 MNLI 上攻击 GPT-2、XLM 和 BERT,几乎在所有模型和任务上把目标模型准确率压到 10% 以下,多数情况下与原输入的 USE 余弦相似度高于 0.8;在 AG News 上把 BERT 准确率从 94.2 降到 2.5,超过 BERT-Attack 的 10.6。作者指出方法目前仅支持 token 替换,对抗分布参数存在过度参数化问题。

推荐理由论文把对抗样本搜索改成分布优化,让梯度攻击可通用于文本 Transformer,黑盒迁移攻击只需硬标签输出。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    文本离散性阻碍梯度优化,作者提出 GBDA 用对抗分布实现梯度攻击。

    核心问题:如何对文本 transformer 模型进行基于梯度的对抗攻击,同时保持扰动的流畅性和语义忠实度。

    • 问题场景:深度神经网络对微小扰动敏感,但文本的离散特性使梯度下降难以直接应用,且 L2/L∞ 等连续域的距离度量不适用于文本。
    • 现有不足:现有黑盒攻击依赖启发式词替换和贪心/束搜索,常引入语法错误或语义不自然的改动;作者指出 BERT-Attack 仅将 AG News 上 BERT 的准确率从 94.2 降至 10.6,而图像攻击可降至接近 0。
    • 核心观察:与其搜索单个对抗样本,不如搜索一个由连续矩阵参数化的对抗样本分布,从而可用梯度优化。
    • 论文方案:提出 GBDA(Gradient-based Distributional Attack),用 Gumbel-softmax 分布参数化对抗样本,结合 BERTScore 和语言模型困惑度作为可微软约束。
    • 威胁模型:
      • 白盒攻击:攻击者完全访问目标模型,通过梯度优化分布参数 Θ。
      • 黑盒迁移攻击:在源模型(GPT-2)上优化分布,采样查询不同的目标模型,仅需 hard-label 输出(离散标签),不需要连续分数。
  2. 有哪些相关研究?

    相关研究包括字符/词级黑盒攻击、通用触发器及多模态对抗样本。

    字符级与词级黑盒攻击

    • 字符级攻击:Ebrahimi et al. (2017)、Li et al. (2018)、Gao et al. (2018) 通过字符替换、交换、插入、删除来近似 perceptibility。
    • 词级启发式攻击:Samanta and Mehta (2017)、Zang et al. (2020) 使用同义词替换;Alzantot et al. (2018)、Ren et al. (2019)、Jin et al. (2020) 用词嵌入相似度替换。
    • 基于掩码语言模型的攻击:Garg and Ramakrishnan (2020)、Li et al. (2020a,b) 利用 BERT 等 MLM 生成词替换候选。作者指出这类方法需顺序替换 token,且对稀有词可能指数级膨胀搜索空间。

    通用对抗触发器

    • Wallace et al. (2019)、Song et al. (2020) 提出通用对抗触发器,但作者指出这些触发器包含不自然的词组合,对人类观察者 perceptible。

    其他模态的对抗样本

    • 图像(Carlini and Wagner, 2017; Madry et al., 2017)、语音(Carlini and Wagner, 2018)、图数据(Dai et al., 2018; Zügner et al., 2018)的对抗样本研究。

    基线与对比

    • 基线方法:TextFooler (Jin et al., 2020)、BAE (Garg and Ramakrishnan, 2020)、BERT-Attack (Li et al., 2020b)。
    • 对比设置:所有基线在 TextAttack 库的 finetuned BERT 上评估;GBDA 在白盒设置下攻击 BERT,在迁移设置下从 GPT-2 转移到 BERT 以公平对比。

    作者定位本文与现有工作的区别:现有方法多为黑盒搜索且产生不自然文本,而 GBDA 是首个通用梯度攻击框架,通过分布参数化和可微约束实现更自然、更优的攻击效果。

  3. 论文如何解决这个问题?

    GBDA 用 Gumbel-softmax 参数化对抗分布,结合可微流畅度与相似度约束做梯度优化。

    GBDA 的核心思路是将离散对抗样本搜索转化为对连续参数矩阵的梯度优化,通过软约束保证文本质量。

    对抗分布与 Gumbel-softmax 松弛

    • 分布定义:定义参数矩阵 Θ ∈ ℝn × V,每个 token 独立采样自 Categorical(Softmax(Θi)),形成对抗分布 PΘ。
    • 概率向量输入:将模型输入扩展为概率向量,嵌入计算为 e(πi) = ∑j (πi)j e(j),使输入可微。
    • Gumbel-softmax:用温度参数 T 的 Gumbel-softmax 分布采样 π̃,当 T → 0 时收敛到 categorical 分布,从而可用梯度下降优化 Θ。

    可微软约束

    • 流畅性约束:用因果语言模型(CLM)g 计算负对数似然(NLL),扩展定义为概率向量序列的 NLL,作为软约束加入目标。
    • 语义相似度约束:用 BERTScore(recall)计算原文与扰动文本在 contextualized embedding 上的相似度,定义 ρg(x, π) = 1 − RBERT(x, π) 作为可微约束。

    优化目标与算法

    • 目标函数:L(Θ) = 𝔼π̃ ∼ P̃Θ ℓ(e(π̃), y; h) + λlm NLLg(π̃) + λsim ρg(x, π̃),其中 ℓ 为 margin loss。
    • 优化细节:用 Adam 优化,学习率 0.3,batch size 10,迭代 100 次;Θ 初始化为 0,对应原 token 位置设为 C ∈ {12, 15};λperp = 1,λsim ∈ [20, 200],κ ∈ {3, 5, 10}。

    采样与迁移攻击

    • 采样策略:优化后从 PΘ 采样,直到模型误分类或达到最大样本数(白盒 100,迁移 1000)。
    • 迁移攻击:在源模型上优化的分布可直接采样攻击不同目标模型,仅需 hard-label 输出判断何时停止,无需连续分数。
  4. 论文做了哪些实验?

    实验覆盖白盒攻击、黑盒迁移、约束消融及运行效率分析。

    实验设置

    • 被测模型:GPT-2、XLM (en-de)、BERT(白盒);ALBERT、RoBERTa、XLNet(迁移)。
    • 数据集:DBPedia、AG News(新闻分类)、Yelp、IMDB(情感分析)、MNLI(自然语言推理,含 matched/mismatched)。
    • 基线:TextFooler、BAE、BERT-Attack,均在 TextAttack 的 finetuned BERT 上评估。
    • 指标:Clean Acc.、Adv. Acc.(攻击后准确率)、Cosine Sim.(USE embedding 余弦相似度)、# Queries(查询次数)。
    • 样本量:每个任务随机选 1000 个测试输入;白盒攻击最多采样 100 次,迁移攻击最多 1000 次。
    • 约束模型:GPT-2 用预训练模型作 CLM;XLM 用 finetuned checkpoint;BERT 在 WikiText-103 上训练 CLM。

    主结果

    表格较宽,可左右滑动

    目标模型任务Clean Acc.Adv. Acc.Cosine Sim.出处
    BERTAG News95.12.50.82Table 1
    BERTYelp97.34.70.92Table 1
    BERTIMDB93.03.00.92Table 1
    GPT-2AG News94.86.60.90Table 1
    XLMIMDB87.60.10.97Table 1
    BERT (迁移)AG News95.18.80.69Table 3
    BERT (迁移)Yelp97.32.60.83Table 3
    BERT (迁移)IMDB93.08.50.92Table 3
    • 白盒攻击几乎将所有模型任务准确率降至 10% 以下,BERT 在 AG News 上从 94.2 降至 2.5(正文引用)。
    • 迁移攻击(GPT-2→BERT)在多数设置下匹配或超过 BERT-Attack 和 BAE,且查询次数更少(Table 3)。
    • 迁移攻击仅需 hard-label 输出,而基线依赖连续分数。

    迁移攻击泛化

    • 设置:用 GPT-2 优化的同一分布攻击 ALBERT、RoBERTa、XLNet(Table 4)。
    • 结果:ALBERT 在 AG News 上 Adv. Acc. 7.5,RoBERTa 在 MNLI (m.) 上 4.1/15.1,XLNet 在 MNLI (mm.) 上 1.7/14.4。
    • 作者解读:对抗分布能捕捉多种 transformer 模型的共同失效模式,具有良好的泛化性。

    约束消融分析

    • λ_sim 影响(Figure 2):较低 λ_sim 产生更激进扰动,泛化更好;较高 λ_sim 增加达到目标准确率所需的查询次数,存在相似度-成功率-查询预算的权衡。
    • 流畅性约束(Table 5):无流畅约束时生成文本包含无意义词组合(如 "Thecom"、"accessrage");有约束时保持语法正确。
    • 重分词影响:token error rate 约 2%,重分词后样本仍保持对抗性,所有报告准确率均为重分词后计算。

    其他分析

    • 运行时间:白盒优化需前向+反向传播,但总运行时间 20s/样本,与黑盒攻击 BERT-Attack 相当(4.3 节)。
  5. 有什么可以进一步探索的点?

    作者指出方法仅限 token 替换且参数化过度,未来可扩展操作类型并减少参数。

    作者指出的局限与后续方向

    • 操作类型限制:方法仅支持 token 替换,不支持插入和删除(Conclusion and Future Work)。作者希望未来能扩展对抗分布框架以涵盖更广泛的 token 级修改。
    • 参数化过度:分布参数 Θ 大小为 n×V,对长句过度参数化(Conclusion and Future Work)。未来工作可能减少参数数量而不影响生成对抗样本的最优性。

    实验覆盖范围

    • 被测模型:白盒实验覆盖 GPT-2、XLM (en-de)、BERT 共 3 个模型;迁移实验覆盖 ALBERT、RoBERTa、XLNet 共 3 个模型。
    • 任务类型:仅覆盖英文文本分类任务(新闻分类、情感分析、自然语言推理),未涉及其他语言或生成任务。
    • 攻击设置:白盒攻击每任务 1000 个样本,最多采样 100 次;迁移攻击最多采样 1000 次。
    • 约束模型:流畅性约束使用与目标模型相同 tokenizer 的 CLM;BERT 的 CLM 在 WikiText-103 上训练。
    • 未报告信息:论文未报告人工评估对抗样本自然度的实验;未报告统计显著性检验。
  6. 总结一下论文的主要内容

    GBDA 通过分布参数化实现梯度文本攻击,白盒和迁移设置均达到 SOTA。

    GBDA 是首个针对文本 transformer 的通用梯度攻击框架,将离散对抗搜索转化为连续分布优化问题。

    • 问题:文本离散性使梯度方法难以应用,现有黑盒攻击产生不自然文本且效果有限。
    • 方法:用 Gumbel-softmax 参数化对抗分布,结合 margin loss、语言模型困惑度和 BERTScore 软约束进行梯度优化,支持白盒攻击和仅需 hard-label 的黑盒迁移攻击。
    • 关键结果:
      • 白盒攻击将 BERT 在 AG News 的准确率从 94.2 降至 2.5,XLM 在 IMDB 降至 0.1(Table 1)。
      • 迁移攻击(GPT-2→BERT)在 AG News 上 Adv. Acc. 8.8,优于 BERT-Attack 的 10.6,且查询次数更少(107 vs 213,Table 3)。
      • 同一分布可泛化攻击 ALBERT、RoBERTa、XLNet(Table 4)。
      • 生成样本保持高语义相似度(多数 Cosine Sim. > 0.8)和语法正确性。
    • 作者结论:GBDA 在多种任务和架构上达到 SOTA 攻击性能,为现实世界系统提供了实用的攻击途径,同时指出未来需支持更多 token 操作类型并减少参数化。

相关论文

共同使用 Yelp Reviews
共同使用 MNLI
共同使用 IMDB
再看 3 篇
共同使用 IMDB
共同使用 AG News
阅读原文EMNLP 2021