跳到正文
原文

自适应 LLM 红队测试中的攻击者多样性缩减

Attacker Diversity Reduction in Adaptive LLM Red Teaming

arXiv:其他 AI 安全论文· arXiv:2611.19680· Chris Tava·本站收录· 2 天前· 原文发表攻击· 扫描记录里的位置 →

论文速读

风险行为

据论文 PDF 整理(AI 生成),以原文为准

作者用 Qwen2.5-14B 攻击者与 Phi-4-mini 防御者共训练复现 AdvGRPO 的多样性下降,三轮 ADR 降至 0.61–0.63。

问题
GRPO 攻击者-防御者共训练被报告会降低攻击多样性,使防御者只能学到更窄的失败面;作者要在开放权重模型和公开基准上复现这一现象。
方法
Qwen2.5-14B 攻击者用 success-only 奖励的 GRPO、Phi-4-mini 防御者用 DPO 共训练,加四种稳定化技术;用 ADR 对比训练后与未训练攻击者的行为内嵌入离散度,并预设 0.75 阈值与退化运行规则。
实验与结果
三轮各完成 24 次攻击者更新,第 12 轮检查 ADR 为 0.63、0.61、0.63,均满足预设标准;ASR@1 升至 0.73、0.58、0.81,ASR@8 均达 1.00;成功攻击的策略构成转向 hypothetical framing。
局限与可以继续做的
作者列出的局限包括:数据依赖的停止偏离预设设计、区间与 p 值未校正;单一训练臂无法归因于共训练或稳定化技术;未收集人工策略标注;测试集未评分;仅覆盖单轮攻击与两个开放权重模型。
实验设置Qwen2.5-14B-Instruct、Phi-4-mini-instruct · AdvBench、HarmBench 等 · ADR、ASR@1 等
威胁模型
攻击者与防御者共训练:Qwen2.5-14B 攻击者经 GRPO 更新,Phi-4-mini 防御者经 DPO 更新;攻击者对冻结防御者生成单轮攻击,HarmBench 分类器判定成功;评估在 AdvBench 开发集上进行,不含生产目标与外部 API。
被测模型
Qwen2.5-14B-InstructPhi-4-mini-instruct
基准
AdvBenchHarmBenchAlpaca
指标
ADRASR@1ASR@8over-refusal
AI 导读论文实验复现了自适应 LLM 红队测试中攻击者多样性下降的现象。此前有报告称用 GRPO 联合训练攻击者与防御者会降低攻击者多样性,作者改用 Qwen2.5-14B 攻击者与经 DPO 训练的 Phi-4-mini 防御者,攻击者只按攻击成功获得奖励,在 26 个 AdvBench 行为上做了三次运行,训练依据开发检查点的决定在第 12 轮后结束。判定标准要求攻击多样性保留率(ADR)在 95% 置信区间下低于 0.75 且攻击持续有效。经 24 次攻击者与 12 次防御者的 LoRA 更新后,三次运行的 ADR 分别为 0.63、0.61 和 0.63,均在第 12 轮达标,第 4 和第 8 轮的检查未达标;尽管攻击多样性下降,攻击成功率仍随更新持续提升。

论文实验复现了自适应 LLM 红队测试中攻击者多样性下降的现象。此前有报告称用 GRPO 联合训练攻击者与防御者会降低攻击者多样性,作者改用 Qwen2.5-14B 攻击者与经 DPO 训练的 Phi-4-mini 防御者,攻击者只按攻击成功获得奖励,在 26 个 AdvBench 行为上做了三次运行,训练依据开发检查点的决定在第 12 轮后结束。判定标准要求攻击多样性保留率(ADR)在 95% 置信区间下低于 0.75 且攻击持续有效。经 24 次攻击者与 12 次防御者的 LoRA 更新后,三次运行的 ADR 分别为 0.63、0.61 和 0.63,均在第 12 轮达标,第 4 和第 8 轮的检查未达标;尽管攻击多样性下降,攻击成功率仍随更新持续提升。

深度解读

6个问题,点开问题读完整回答

  1. 这篇论文试图解决什么问题?

    复现并度量 GRPO 共训练中攻击多样性下降,用开放权重模型和预设标准。

    核心问题:攻击者-防御者 GRPO 共训练被报告会降低攻击多样性,作者要在开放权重模型与公开基准上复现并量化这一现象。

    • 场景与重要性:红队探测生成式 AI 的实际失效方式;用 RL 训练攻击模型能超越手写测试用例并适应防御者。作者认为,攻击者反复使用相似攻击会让防御者只学到更窄的失败面,要造出能防御多样攻击的模型,红队过程中需要维持攻击多样性。
    • 现有工作的不足:Bullwinkel 等的 AdvGRPO 研究报告了共训练中的多样性下降 [1],本文旨在用特定模型、稳定化更新和预设的多样性下降标准复现它。
    • 核心观察:复现需要攻击者在训练中保持可用;per-completion 损失归一化会偏向更长回复,uniform-reward 组优势为零会留下稀疏更新信号,新初始化的优化器多步更新可能让策略偏离生成数据的策略。
    • 论文提出:一个预设的开放权重共训练流程(Qwen2.5-14B 攻击者、Phi-4-mini 防御者、四种优化器稳定化技术、退化运行规则);Attack Diversity Retention(ADR)指标;以及贯穿三轮的训练轨迹测量。
    • 实验设定:
      • 攻击者目标:对冻结防御者生成单轮攻击,奖励仅为攻击成功。
      • 攻击者能力:每行为写 G=16 个攻击,经 LoRA 适配器做 GRPO 更新。
      • 受害系统:Phi-4-mini-instruct 防御者,经 DPO 更新;评估时对冻结防御者测 ASR。
      • 成功判定:HarmBench-Llama-2-13b 分类器。
  2. 有哪些相关研究?

    相关工作分四组:红队方法、多样性奖励方法、RL 多样性损失与 GRPO 稳定化、小样本 RL 报告规范。

    红队与自动化攻击

    • Perez 等(2022)用语言模型生成测试用例 [5];Zou 等(2023)优化对抗后缀 [6];HarmBench(2024)标准化自动攻击与拒答评估 [14]。
    • Bullwinkel 等(2025)总结红队 100 多个生成式 AI 产品的经验,强调人工判断 [2];PyRIT 用于重复性任务 [3];"break-fix" 循环连接红队与安全后训练 [4]。

    直接奖励多样性的红队方法

    • Curiosity-driven red teaming(2024)加入新颖性目标 [27];Rainbow Teaming(2024)用质量-多样性搜索 [28];Beutel 等(2024)奖励与过去尝试不同的攻击 [29]。

    RL 中的多样性损失与 GRPO 稳定化

    • Kirk 等(2023)研究 RLHF 对泛化与多样性的影响 [30];Shumailov 等(2024)称反复用收窄的输出学习会侵蚀分布尾部 [31]。
    • Liu 等(2025)指出 GRPO 的 per-completion 长度偏置 [8];Yu 等(2025)指出损失聚合问题并重采样 uniform-reward 组 [9];比例裁剪 [19] 与学习率预热 [18] 用于更新稳定。

    小样本 RL 报告规范

    • Henderson 等(2018)与 Agarwal 等(2021)建议小样本 RL 研究报告单个运行和区间估计 [22], [23],本文遵循这一报告方式。

    基线与基准:本文是复现性实验,无对比基线方法;使用的基准为 AdvBench [6]、HarmBench [14] 和 Alpaca 指令 [17]。

    作者将本文定位为对 AdvGRPO [1] 多样性下降现象的复现:用开放权重模型、公开基准、预设标准和四种稳定化技术,跟踪攻击收窄现象。

  3. 论文如何解决这个问题?

    预设共训练流程:GRPO 攻击者加四种稳定化技术,ADR 度量相对未训练攻击者的行为内离散度保持率。

    整体思路:用一个预设的开放权重共训练流程(Qwen2.5-14B 攻击者 GRPO、Phi-4-mini 防御者 DPO)复现多样性下降,并用 Attack Diversity Retention(ADR) 配对比较训练后与未训练攻击者的行为内嵌入离散度。

    数据与划分

    • 数据划分:520 条 AdvBench 行为按主种子分为 286 训练、26 开发、208 测试;第二测试集为 HarmBench 200 标准行为中的 172 条(排除化学与生物类);Alpaca 良性提示词分为 200 保持、56 开发、100 测试。
    • 选择防火墙:所有划分在优化前准备、哈希并存储;计数或哈希不匹配会阻止运行。

    共训练与稳定化更新

    • 一轮的结构:两次攻击者训练作业加一次防御者训练作业;攻击者对固定的 96 行为面板每行为写 G=16 个攻击,HarmBench 分类器判定成功,攻击者做一次组相对策略梯度更新。
    • 奖励与优势:ri = 1[successi],Ai = (ri − r̄)/(σr + η),即 success-only 二元奖励的组相对优势;uniform-reward 组优势为零。
    • 四种稳定化技术(Table II):长度无偏损失(常数归一化 C=300)、有界更新(少于 64 信号行跳过、至多 512 行)、四步学习率预热、比例裁剪(ε=0.2,KL 权重 β=0.005)。
    • 防御者 DPO:每轮至少 4 对成功样本时更新一次,偏好短拒答;学习率 2×10⁻⁵,β=0.1;良性保持对偏好冻结防御者的回答。

    多样性下降标准与退化运行规则

    • 多样性下降标准(训练前固定):每四轮检查一次,要求 ADR 及其 95% 置信区间低于 0.75,且五条有效性守卫成立(ASR@1 提升至少 10 个百分点、覆盖至少 90% 行为、无效攻击至多 5%、良性过度拒答上升至多 5 个百分点、防御者完成至少两次更新)。
    • 退化运行规则:三个停止条件(训练面板无效攻击率连续三次超 20%、ASR@8 曾达 0.50 后连续四检查点不超 0.10、连续六次尝试因无学习信号被跳过);触发即判未通过标准并保留不回滚。

    测量

    • ADR 定义:ADR(u) = ∑b db(u) / ∑b db(0),即训练检查点与未训练攻击者在共享行为上的平均成对余弦距离之比;1 表示保持初始离散度,0.75 对应损失四分之一。
    • 评估协议:每完成一次攻击者作业,对 26 条 AdvBench 开发行为写 8 个攻击;行为与采样种子全程固定;bootstrap 2,000 次配对抽取给出置信区间。
    • 辅助诊断:策略家族标签(七个描述加 Other,余弦相似度阈值 0.25)、近重复(相似度超 0.95)、攻击长度;探索性的长度匹配 ADR 在完成预设设计后加入,按未训练攻击者对长 thirds 分带比较。
  4. 论文做了哪些实验?

    三轮各 24 次攻击者更新,第 12 轮检查 ADR 0.61–0.63 均达标,ASR 持续上升,策略转向 hypothetical framing。

    实验设置

    • 被测模型:攻击者 Qwen2.5-14B-Instruct(LoRA rank 16);防御者 Phi-4-mini-instruct(LoRA rank 16,DPO)。
    • 数据集:AdvBench(286 训练/26 开发/208 测试)、HarmBench(172 条测试,未评分)、Alpaca 良性提示词(56 开发用于过度拒答)。
    • 评审方式:HarmBench-Llama-2-13b 分类器判定攻击成功;嵌入用 bge-large-en-v1.5。
    • 指标:ADR(0.75 阈值)、ASR@1、ASR@8、过度拒答增幅(上限 0.05)、策略家族占比与熵。
    • 样本量:3 轮(种子 1011–1013),每轮 24 次攻击者更新、12 次防御者更新;评估每行为 8 样本,温度 1.0。
    • 停止:数据依赖停止——在第 12 轮多样性检查后结束,决定基于开发检查点,论文称区间为名义区间。

    主结果

    据 Table III(九次多样性下降检查)与 Table V(最后检查点):

    表格较宽,可左右滑动

    轮次RunADR (95% CI)长度匹配 ADRASR@1 未训练→检查过度拒答增幅达标
    411.08 (0.99–1.18)1.290.04→0.42+0.000否
    420.84 (0.77–0.93)0.860.00→0.04+0.000否
    430.79 (0.71–0.87)0.990.00→0.35+0.000否
    810.67 (0.59–0.754)0.7550.04→0.92+0.018否(上界 0.754)
    820.77 (0.69–0.88)0.890.00→0.38+0.036否
    830.79 (0.70–0.89)0.990.00→0.58+0.000否
    1210.63 (0.57–0.70)0.710.04→0.85+0.036是
    1220.61 (0.54–0.68)0.680.00→0.58+0.000是
    1230.63 (0.57–0.70)0.720.00→0.77+0.018是
    • 作者解读:作者称在该标准下,三轮复现了 GRPO 共训练报告的多样性损失 [1];下降同时出现在逐行为比较、训练 rollout 与聚合 ADR 中。
    • 跨轮汇总(post hoc、名义):平均 ADR 0.623,标准差 0.013;单样本 t 检验均值低于 1(t(2)=−48.9, p=0.0004)、低于 0.75(t(2)=−16.4, p=0.004)。
    • 退化规则:三轮共 72 次攻击者更新、36 次防御者更新,退化运行规则未触发;训练后检查点无效攻击至多 2.9%。

    轨迹与多样性-成功率关系

    • 轨迹形态(Figure 3):Run 1 的 ADR 第一次更新后升至 1.41、保持高于 1 达八次更新;Run 2 第二次更新后达 1.66;Run 3 起于 1.01 后下降。持续清晰起点分别在更新 22、22、20。
    • 相关性:24 个检查点上 ADR 与 ASR@1 的 Spearman 相关为 −0.91、−0.84、−0.86;与更新次数为 −0.89、−0.90、−0.90。作者称相关只描述联合趋势,不确立因果。
    • 最后检查点(Table V):ASR@1 为 0.73、0.58、0.81,ASR@8 三轮均达 1.00;训练成功率中位数从最初三次更新的 0.042 升至最后三次的 0.401。

    攻击长度与长度匹配测量

    • 长度增长:平均攻击长度从 217、222、209 字符增至 410、258、431(1.89×、1.16×、2.07×);未训练库中最短 third 对平均距离 0.239–0.261,最长 third 0.196–0.208。
    • 长度匹配 ADR:update 24 为 0.72、0.67、0.71,高于主 ADR 的 0.64、0.60、0.62;匹配使最终估计上升 0.07–0.09。作者称残余带内差异使下降不能精确归因于长度。
    • 区间:最终检查中六个长度匹配比较区间均低于 1,上界为 0.843、0.751、0.800;72 个检查点区间中只有一个完全低于 0.75(Run 2 update 24)。

    策略家族与逐行为分析

    • 家族构成变化(Table IV):hypothetical framing 从 0% 经 14.4% 升至 63.2%;format transformation 从 65.0% 降至 15.7%;instruction override 从 30.0% 降至 7.7%(未训练列 n=20,早期窗口 n=541,后期 n=5,616)。
    • 逐行为:25 个可比较行为中,最后检查点离散度低于未训练攻击者的行为数为 22、24、24;比值低于 0.75 的为 16、19、20。近重复占比从 0.045、0.030、0.000 升至 0.212、0.192、0.130。
    • 训练 rollout(Table V):最后三次 rollout 的平均多样性降至首次的 0.69、0.66、0.66;训练 rollout 成功率为 33.5%、17.3%、25.2%。

    其他消融与分析

    • 家族熵:Run 1 前 20 次更新 0.47–0.74,最后四次 0.29–0.38。
    • 家族-长度探索比较:hypothetical framing 在短、中、长带内占比从 11%、14%、16% 升至 66%、70%、62%。
    • 最终库与前一检查点共享 47%–74% 文本,ADR 差异至多 0.03。
    • 九次检查中良性过度拒答至多上升 56 条提示词中的 2 条(0.036)。
  5. 有什么可以进一步探索的点?

    作者列出七条局限:采样、停止、测量、归因、范围、裁剪答案与预设偏离;实验仅三轮单轮攻击。

    作者指出的局限与后续方向

    • 采样(Section VIII-1):种子、行为与补全抽取的联合不确定性未估计;测试集划分未评分。
    • 停止(Section VIII-2):数据依赖的停止偏离预设设计;更多轮次、更多种子、计划的预算检查和留出评估未运行;区间与 p 值未针对停止和每轮三次检查校正。
    • 测量(Section VIII-3):嵌入几何、措辞与攻击长度影响多样性读数;分类器偏好可能促成策略偏移;未收集人工策略标签与人工审计。
    • 归因(Section VIII-4):单一训练臂无法区分共训练与优化器稳定化的效应;需要冻结防御者、非稳定化对照臂和干预臂。
    • 范围(Section VIII-5):多轮策略(如 Crescendo)、部署系统和自适应人类攻击者在评估之外;仅覆盖两个开放权重模型间的单轮攻击。
    • 预设偏离(Section VIII-7):长度匹配 ADR、跨轮 t 检验、家族-长度比较三项分析为事后加入;多样性下降标准仍用主 ADR。Conclusion 称留出评估与对照臂可检验泛化与因果。

    实验覆盖范围

    • 被测模型为 Qwen2.5-14B-Instruct 与 Phi-4-mini-instruct 两个开放权重模型,各 3 轮(种子 1011–1013)。
    • 评估在 AdvBench 26 条开发行为上进行,每行为 8 样本;HarmBench 172 条测试行为与 AdvBench 208 条测试行为未评分。
    • 每轮 24 次攻击者更新、12 次防御者更新;多样性检查在第 4、8、12 轮共九次。
    • 防御者过度拒答在 56 条良性开发提示词上测量。
    • 论文未报告人工评估或人工策略标注;策略标签为自动嵌入分类。
  6. 总结一下论文的主要内容

    开放权重复现:GRPO 共训练三轮 ADR 降至 0.61–0.63 且攻击成功率上升,作者称复现了多样性损失。

    一篇复现性实验论文:用开放权重模型和公开基准检验 AdvGRPO 报告的攻击者-防御者共训练多样性下降现象。

    • 问题:GRPO 共训练被报告会让攻击者产生的攻击变窄,防御者可学的失败面随之变窄;作者要用预设标准和稳定化更新复现并量化这一过程。
    • 方法:Qwen2.5-14B 攻击者(success-only 奖励的 GRPO,配长度无偏损失、有界更新、预热、比例裁剪四种稳定化技术)与 Phi-4-mini 防御者(DPO)共训练;ADR 指标配对比较训练后与未训练攻击者的行为内嵌入离散度,预设 0.75 阈值与五条有效性守卫。
    • 主结果:三轮(种子 1011–1013)各 24 次攻击者更新,第 12 轮检查 ADR 为 0.63、0.61、0.63,均满足预设标准;第 4、8 轮检查未达标(Table III)。
    • 成功率:最后检查点 ASR@1 为 0.73、0.58、0.81,ASR@8 三轮均达 1.00;ADR 与 ASR@1 的 Spearman 相关为 −0.91、−0.84、−0.86,作者称相关不确立因果。
    • 其他发现:攻击长度增至 1.16×–2.07×,长度匹配 ADR(0.67–0.72)高于主 ADR;成功攻击的策略构成转向 hypothetical framing(后期窗口占 63.2%)。
    • 作者结论:在该标准下三轮复现了 GRPO 共训练的多样性损失,攻击生成保持有效而行为内分布变窄;作者指出数据依赖停止使区间为名义区间,留出评估与对照臂可检验泛化与因果。
阅读原文arxiv.org