RL-ATTACK:基于强化学习的语言模型通用黑盒对抗攻击
RL-ATTACK: A Generalized Black-Box Adversarial Attack on Language Models via Reinforcement Learning
作者提出 RL-ATTACK,用强化学习训练黑盒攻击器针对目标模型生成对抗扰动;在 SNLI 上 13 次查询内把 BERT 攻击后准确率降到 2.03%。
黑盒攻击:攻击者无法访问目标模型梯度,只能通过查询获取预测置信度(soft-label)或标签(hard-label 基线)。
- 黑盒对抗攻击无法访问目标模型梯度,现有方法多依赖外部知识猜测变换,忽略目标模型反馈,难以针对特定模型定制攻击。
- RL-ATTACK 用 Policy Gradient 训练基于 BERT 掩码语言模型的攻击器,以目标模型置信度下降为奖励,先识别高影响 token 再替换为采样候选,适配分类和生成任务。
- 在 SNLI/MNLI 上,RL-ATTACK 将 BERT 攻击后准确率降至 0.80%–2.03%,查询 13–16 次;在 AdvBench 上对 GPT-3.5-Turbo 取得 11.5% 攻击后准确率,USE 高于 PAIR。
- 作者指出结论受评估设置范围、评估集规模较小及缺乏显式语法约束限制;未评估 GPT-5 等更先进模型,因账户封禁风险。
- 威胁模型
- 黑盒攻击:攻击者无法访问目标模型梯度,只能通过查询获取预测置信度(soft-label)或标签(hard-label 基线)。NLI 任务目标是使分类器误判;生成式 Q&A 目标是越狱,使目标 LLM 输出被安全评审判为 unsafe。攻击者控制输入文档的 token 替换,受害系统为 BERT 分类器和 Llama 2 7B、GPT-3.5-Turbo、GPT-5.4-mini。
- 被测模型
- BERTLlama 2 7BGPT-3.5-TurboGPT-5.4-miniLlama 3 8B Instruct
- 基准
- SNLIMNLI (matched/mismatched)in-the-wild jailbreak-prompt corpusAdvBench
- 指标
- Post-attack AccuracyNumber of QueriesUSEPercentage of Perturbation
研究者提出 RL-ATTACK,一个基于强化学习的黑盒对抗攻击框架,从目标模型的反馈中学习生成针对性的对抗扰动,而非依赖外部知识猜测变换。在自然语言推理任务上,该方法在 20 次查询内将攻击后准确率压到 2%;对生成式语言模型,训练后的攻击者持续取得比未训练攻击者更低的攻击后准确率,并在与强优化基线的 6 组对比中赢下 4 组,同时在查询效率和语义保持上更优。作者还测试了多种奖励设计与训练设置,发现没有任何一种始终占优。代码开源于 https://github.com/taikunudel/RL-ATTACK。
深度解读
这篇论文试图解决什么问题?
现有黑盒攻击用静态框架猜测变换,忽略目标模型反馈;作者提出可训练的 RL 黑盒攻击框架。
核心问题: 现有黑盒对抗攻击无法访问目标模型梯度,通常依赖外部知识猜测对抗变换,忽略目标模型提供的信息,难以针对特定模型定制攻击。
- 问题场景与重要性: 语言模型(如 BERT 分类器和 Llama、GPT 等生成模型)易受对抗扰动影响,产生错误或不安全输出。黑盒攻击无需梯度即可识别漏洞,对提升模型安全性具有实践价值。
- 现有方法不足: TextFooler、BERT-ATTACK 等分类器攻击使用静态框架对所有模型采用相同策略,错过针对特定模型定制攻击的机会;生成模型攻击中,GCG 是白盒方法,PAIR 虽为黑盒但作者认为其语义保持和查询效率有提升空间。
- 核心观察: 强化学习的奖励信号可在无梯度环境下从目标模型反馈中学习,引导攻击器生成针对特定模型的对抗变换。
- 论文方案: 提出 RL-ATTACK,一个基于 Policy Gradient 的可训练黑盒攻击框架,可适配自然语言推理(NLI)分类任务和生成式 Q&A 任务。
- 威胁模型:
- 攻击者目标: 对 NLI 是使分类器预测翻转至任意错误标签;对生成式 Q&A 是诱导目标 LLM 产生被安全评审判定为 unsafe 的响应(越狱)。
- 知识: 黑盒设置,攻击者无法访问目标模型梯度,仅能通过查询获取预测置信度(soft-label)或标签(hard-label 基线)。
- 能力: 攻击者控制输入文档的 token 替换(编辑预算 K 限制每文档扰动 token 数)。
- 受害系统: NLI 任务为 BERT 分类器;生成式 Q&A 任务为 Llama 2 7B、GPT-3.5-Turbo、GPT-5.4-mini。
有哪些相关研究?
相关工作分为分类器黑盒攻击、生成模型攻击和强化学习应用三类,基线包括 TextFooler、BERT-ATTACK 和 PAIR。
针对语言分类器的黑盒攻击
- TextFooler [11] —— 构建候选集(基于语义相似度)并应用语法/语义过滤器进行 token 替换。
- Generative Attack [10] —— 使用 GloVe 嵌入和语言模型过滤器生成候选,保持流畅性。
- BERT-ATTACK [8] —— 利用掩码语言模型提出上下文感知的替换词。
- 其他 hard-label 攻击 —— SSPAttack [27]、HQA-Attack [28]、TextHoaxer [29]、LeapAttack [30] 等,仅使用预测标签而非置信度。
针对生成语言模型的攻击
- Greedy Coordinate Gradient (GCG) [16] —— 白盒攻击,训练通用对抗后缀附加到良性提示词以诱导有害输出。
- PAIR [17] —— 黑盒攻击,使用语言模型交互式改述对抗提示词,作者将其作为强优化基线对比。
强化学习在 NLP 中的应用
- Policy Gradient [18] —— 本文采用的训练方法。
- RL 用于序列生成 —— 如使用 ROUGE、BLEU 或人类偏好分数作为奖励的摘要和翻译任务 [20]–[25]。
基线与基准
- 基线方法: NLI 任务对比 TextFooler、BERT-ATTACK 及四个 hard-label 攻击;生成式 Q&A 对比 PAIR 和未训练的 BERT 攻击器。
- 基准/数据集: SNLI、MNLI(matched/mismatched)、in-the-wild jailbreak-prompt corpus、AdvBench。
作者定位本文与现有工作的区别:现有黑盒攻击缺乏针对特定目标模型的定制能力,RL-ATTACK 通过强化学习从目标模型反馈中学习,实现可训练的、模型特定的黑盒攻击。
论文如何解决这个问题?
RL-ATTACK 用 Policy Gradient 训练 BERT 掩码语言模型攻击器,以目标置信度下降为奖励,识别高影响 token 后替换。
RL-ATTACK 是一个基于强化学习的可训练黑盒攻击框架,核心思路是训练攻击器从目标模型反馈中学习生成针对特定模型的对抗变换,而非使用静态启发式规则。
问题形式化
给定源文档 xi = [ti1, ..., tim],攻击器 Aθ 生成对抗文档 x′i,其中仅少数位置 S(xi) 的 token 被替换。攻击器基于预训练编码器(BERT)构建,顶层 Tθ 通过 softmax(W h + b) 输出词汇表上的概率分布,用于采样对抗 token 候选。
训练目标与奖励设计
- 对抗奖励: 默认变体 A 为目标模型对真实标签置信度的原始下降 C(ytrue|x) − C(ytrue|x′);变体 B 使用 sigmoid 有界重塑;变体 C 按原始置信度加权(Table I)。
- 语义保持奖励: 使用 Universal Sentence Encoder (USE) 计算原句与扰动句的余弦相似度 rsem。
- 组合奖励: r = α · radv + (1−α) · rsem,其中 α 控制对抗有效性与语义保持的权衡。
攻击器训练
采用 Policy Gradient 方法优化期望奖励 Rθ。使用似然比技巧和蒙特卡洛采样估计梯度,仅在目标位置 S(xi) 进行 token 替换。训练时随机选择扰动位置,鼓励攻击器学习与位置无关的有效替换策略。
攻击机制
- 识别高影响 token: 计算每个 token 的影响分数 I(tn) = C(ytrue|x) − C(ytrue|x∖ tn),选择排名最高的 K 个 token 作为目标集 S(x)(K 为编辑预算超参数)。
- 迭代攻击: 对 S(x) 中每个位置,从训练后的攻击器分布中取 top-N 候选,贪心替换并保留使真实类概率下降最多的候选,直至预测改变或达到最大查询次数。
任务适配与成功判定
- NLI 任务: 目标是分类器,奖励为真实标签置信度下降,攻击成功定义为预测翻转至任意错误标签。
- 生成式 Q&A: 目标是 LLM,训练时使用 Llama-Guard-4-12B 作为安全评审提供置信度(不查询目标 LLM 以降低训练成本),攻击时将对抗提示词提交给目标 LLM,由 Llama-Guard-4-12B 或 OpenAI Moderation API 判定响应是否 unsafe,成功即评审判为 unsafe。
论文做了哪些实验?
实验覆盖 NLI(SNLI/MNLI)和生成式 Q&A(AdvBench),RL-ATTACK 在 NLI 上取得 0.80%–2.03% 攻击后准确率,查询 13–16 次。
实验设置
- 被测模型: NLI 任务为 BERT;生成式 Q&A 为 Llama 2 7B、GPT-3.5-Turbo、GPT-5.4-mini。
- 数据集: SNLI、MNLI(matched/mismatched)、in-the-wild jailbreak-prompt corpus(16,776 训练/50 traindev/100 evaldev)、AdvBench(500 条)。
- 基线: NLI 对比 TextFooler、BERT-ATTACK、SSPAttack、HQA-Attack、TextHoaxer、LeapAttack;生成式对比 PAIR 和未训练 BERT 攻击器。
- 指标: Post-attack Accuracy(攻击后仍正确的比例,越低越好)、Number of Queries(平均查询次数)、USE(语义相似度,越高越好)、Percentage of Perturbation(扰动 token 比例)。
- 评审方式: 生成式任务使用 Llama-Guard-4-12B(训练与主评审)和 OpenAI Moderation API(补充评审)判定响应是否 unsafe。
- 重复次数: NLI 和生成式结果均报告 10 折交叉验证的标准误。
主结果
据 Table II(NLI)和 Table III(生成式 Q&A,AdvBench):
表格较宽,可左右滑动
任务 目标模型 方法 Post-attack Accuracy # Queries USE % Perturbation SNLI BERT RL-ATTACK 2.03% (±0.54) 13 0.65 5.1 SNLI BERT BERT (untrained) 5.73% 18 0.60 6.0 SNLI BERT TextFooler 4.00% 60 0.45 18.5 MNLI matched BERT RL-ATTACK 0.90% (±0.30) 15 0.70 3.2 MNLI mismatched BERT RL-ATTACK 0.80% (±0.28) 16 0.73 3.0 AdvBench Llama 2 7B RL-ATTACK 82.0% (±3.8) 27.7 0.98 2.0% AdvBench GPT-3.5-Turbo RL-ATTACK 11.5% (±3.3) 16.8 0.98 4.5% AdvBench GPT-5.4-mini RL-ATTACK 92.6% (±2.6) 29.0 0.99 1.1% AdvBench GPT-3.5-Turbo PAIR 28.0% 29.6 0.44 N/A - 作者称 RL-ATTACK 在 NLI 三个数据集上均取得 soft-label 攻击中最低攻击后准确率,且查询次数(13–16)远低于 hard-label 基线(1000 次)。
- 在生成式任务中,RL-ATTACK 在六种设置中的四种取得比 PAIR 更低的攻击后准确率,且 USE(0.96–0.99)高于 PAIR(0.44–0.60)。
- 例外:GPT-5.4-mini 在 Llama Guard 评审下 RL-ATTACK 为 92.6%,高于 PAIR 的 77.6%;GPT-3.5-Turbo 在 Moderation API 评审下 RL-ATTACK 为 42.0%,略高于 PAIR 的 40.0%。
超参数敏感性与训练效果
- 网格搜索: 在 traindev 上测试 99 种配置(奖励变体 A/B/C × α ∈ {0.0,...,1.0} × K ∈ {3,5,10}),攻击后准确率范围 0.64–0.80(均值 0.71,标准差 0.035),无一致最优奖励类型或超参数(Figure 3)。
- 训练效果: 对比未训练攻击器与选定检查点,六种代表性配置的攻击后评估准确率均下降(如 0.16→0.15 至 0.18→0.02),但 traindev 准确率不能可靠排序 held-out 性能(Figure 4)。
其他消融与分析
- 编辑预算 K: NLI 任务固定 K=3,作者称小编辑预算有助于语义保持。
- 候选预算 N: 攻击时 N=40,作者观察到 N 增加收益递减。
- 评审模型泛化: 使用 OpenAI Moderation API 作为补充评审,验证训练于 Llama Guard 的攻击器在不同安全模型下的泛化能力。
有什么可以进一步探索的点?
作者指出结论受评估范围、评估集规模和缺乏语法约束限制;未评估更先进模型。
作者指出的局限与后续方向
- 评估范围有限: 结论受评估设置范围限制(Conclusion)。
- 评估集规模: 评估集规模较小(modest sizes of the evaluation sets)(Conclusion)。
- 语法约束缺失: 缺乏对对抗文档的显式语法约束(lack of an explicit grammaticality constraint)(Conclusion)。
- 模型覆盖: 未评估更先进的专有模型(如 GPT-5、Claude、Gemini Pro),因提供商部署自动账户封禁机制,系统性评估不可行(Section IV-C)。
实验覆盖范围
- 被测模型: NLI 仅 BERT;生成式 Q&A 为 Llama 2 7B、GPT-3.5-Turbo、GPT-5.4-mini,共 4 个目标模型。
- 防御评测: 论文未报告针对防御方法的评测。
- 样本量: NLI 使用标准评估集;生成式 Q&A 中 AdvBench 为 500 条,in-the-wild 训练集 16,776 条,traindev 50 条,evaldev 100 条。
- 重复次数: 主结果报告 10 折交叉验证标准误。
- 未报告信息: 论文未报告攻击生成式目标时的具体查询预算上限(仅报告平均查询次数);未报告人工评估与自动评审的一致性。
总结一下论文的主要内容
RL-ATTACK 是基于强化学习的可训练黑盒攻击框架,在 NLI 和生成式 Q&A 上实现低查询、高语义保持的模型特定攻击。
RL-ATTACK 是一个基于强化学习的可训练黑盒对抗攻击框架,旨在解决现有黑盒攻击无法针对特定目标模型定制的问题。该框架使用 Policy Gradient 训练基于 BERT 掩码语言模型的攻击器,以目标模型置信度下降为奖励信号,先识别高影响 token 再替换为采样候选,无需访问目标模型梯度。
在 NLI 任务上,RL-ATTACK 在 SNLI、MNLI matched 和 MNLI mismatched 上分别将 BERT 攻击后准确率降至 2.03%、0.90% 和 0.80%,平均查询次数仅 13–16 次,扰动率约 3%–5%,USE 语义相似度 0.65–0.73,优于 TextFooler 和 BERT-ATTACK 等 soft-label 基线。在生成式 Q&A 任务上,针对 Llama 2 7B、GPT-3.5-Turbo 和 GPT-5.4-mini,RL-ATTACK 在六种评审设置中的四种取得比 PAIR 更低的攻击后准确率,USE 分数(0.96–0.99)高于 PAIR(0.44–0.60),且查询次数更少。对 GPT-3.5-Turbo 在 Llama Guard 评审下取得 11.5% 攻击后准确率。
作者实验了多种奖励设计和训练超参数,发现无一致最优配置,故采用简单设置(奖励变体 A,α=1,K=3)。作者称强化学习训练普遍提升攻击有效性且不牺牲语义保持,但结论受评估范围、评估集规模较小及缺乏显式语法约束限制,且未评估 GPT-5 等更先进模型。