研究提出基于学习的自动化对抗红队框架，用于大语言模型鲁棒性评测

固定基准与人工红队难以系统发现罕见、情境敏感且分散在多类威胁中的失败。

• 场景： 作者称模型经 API 与开放权重部署后，灵活交互也使评测变难：固定基准上可以表现正确，换一种表述、多轮交互或工具使用仍可能失败。已记录失败包括越狱、提示注入、有害指令遵循、数据泄露、reward hacking 与不安全智能体行为。
• 现有做法： HarmBench、JailbreakBench、XSTest、CyberSecEval 等提供共享任务，但作者称它们必然只能覆盖构建时的已知行为，而模型、策略和攻击方式在变。人工红队能做专家搜索，作者称其昂贵、难复现，且难随模型版本和威胁类别扩展。
• 自动攻击的缺口： AutoDAN、PAIR、TAP、AdvPrompter 与 simple adaptive attacks 扩大了越狱工具，但作者称许多方法在狭窄设定里优化攻击成功，未同时处理多类覆盖、提示词族塌缩、细微失败和可审计复现。
• 本文做法： 把自动化红队写成带多样性、覆盖和预算约束的对抗搜索；从六类策划种子出发，用元提示词生成、进化变异和词汇–语义–行为分层检测发现并排序漏洞。
• 评测对象： 主定量实验查询 GPT-OSS-20B。搜索方控制扩展后的提示词，在匹配 query budget 下执行；计入结果的是经校验的漏洞，而不是单次拒答是否被绕过。论文未用 white-box 或 black-box 命名这一访问方式。

作者按红队系统所需部件组织相关工作，并把自适应搜索定位为固定基准的补充。

传统对抗鲁棒

• 闭集攻击： Szegedy et al. (2013)、Goodfellow et al. (2015) 研究小扰动误分类；Carlini and Wagner (2017)、Madry et al. (2017) 给出更强攻击和基于优化的防御。
• 协议： Papernot et al. (2016) 整理威胁模型、攻击者知识与评测协议如何影响鲁棒性主张。作者指出两点不同：攻击用自然语言；失败标准是行为与情境，如泄露、服从注入、误用工具或策略性表现不佳。

LLM 威胁与红队

• 已记录风险： Wei et al. (2023)、Liu et al. (2023b)、Carlini et al. (2021)、Ruan et al. (2023) 等记录越狱、提示注入、有害生成、隐私泄露和工具使用风险。
• 迁移与野外样本： Zou et al. (2023) 的对抗后缀可跨对齐模型迁移；Shen et al. (2024)、Jiang et al. (2024) 记录野外用户行为中的越狱提示词。
• 智能体： Andriushchenko et al. (2024b)、Bhatt et al. (2024) 把攻击面扩到外部工具、API 和多步计划。此处论文是描述，没有单独批评这两篇。

自动化测试与越狱搜索

• 软件测试： Miller et al. (1990)、Godefroid et al. (2008) 用 fuzzing 和覆盖引导测试做软件安全。
• 模型写红队提示词： Perez et al. (2022, 2023) 用语言模型生成红队提示词，以扩展行为测试。
• 越狱方法： AutoDAN（Liu et al., 2023a）、PAIR（Chao et al., 2023）、TAP（Mehrotra et al., 2023）、AdvPrompter（Paulus et al., 2024）、simple adaptive attacks（Andriushchenko et al., 2024a）在不同访问假设下提高攻击成功。作者称本文是补充：目标是覆盖、多样性、Novelty 和可复现约束下的发现，而不是只优化一次越狱。

对齐与固定安全基准

• 对齐与通用评测： Bai et al. (2022) 的 Constitutional AI、Askell et al. (2021) 的偏好助手、Hendrycks et al. (2023) 的风险分析；HELM 与 MMLU 测多领域能力与可靠性。
• 安全套件： HarmBench、JailbreakBench、XSTest、LLMSecEval、CyberSecEval、AgentHarm、SafetyPrompts 覆盖拒答、越狱、过度拒答、安全提示词、网络任务或智能体伤害。作者称它们提供关键对照，同时固定覆盖会落后于变化中的模型与攻击风格。

基线与语料： 实验基线是人工专家红队（3 名 AI 安全专家）、随机句法模板与 n-gram、公开基准家族上的模板攻击（Chao et al., 2024；Röttger et al., 2025），以及 AdvPrompter。评测语料在匹配 query budget 下动态生成，不是某一固定监督测试集。Novelty 相对策划种子、公开基准模式和已知攻击族（Mazeika et al., 2024；Chao et al., 2024；Jiang et al., 2024）。

作者在第 2.5 节把缺口写成三点：许多自动攻击强但窄，只搜一类越狱（引用 Yi et al., 2024；Zhu et al., 2023；Shen et al., 2025）；许多评测报告攻击成功，但对 Novelty、可复现性和类别覆盖关注不够（引用 Beyer et al., 2025；Yuan et al., 2025）；工具、代码、检索和外部 API 使单轮基准不完整。本文把覆盖和多样性放进目标，并用统一多维量规在匹配预算下比较发现。

自动化红队被写成约束对抗搜索。Figure 2 的框架把种子策划、元提示词生成、进化变异和分层检测接在一起，再汇总成可审计报告。

问题设定与约束

• 目标： 目标模型 M 把提示词 p 映到回答 r。要找有限集合 A，使各类漏洞分数的加权和尽量大；类别权重 wj 在 0 到 1 之间且和为 1。k=6：reward hacking、deceptive alignment、data exfiltration、sandbagging、inappropriate tool use、chain-of-thought manipulation。
• 三条约束： 规模 |A|≤Nmax；多样性 D(A)≥δ，D 衡量语义、句法或逻辑差异，用来抑制模板化攻击；覆盖 C(A)≥γ，即分数超过类别阈值 τj 的类别占比不低于 γ。作者称同一越狱的大量变体会过不了后两条，广采样但只有低影响伪影会过不了漏洞目标。
• 文中使用的运行点： Table 2 的完整配置为 δ=0.7、γ=0.8、Nmax=1000。论文未给出 D 的计算公式。

四个算子与生成

• 收集与生成： fcollect 从漏洞库和文献整理种子 S，要求初始覆盖各类。fgenerate 由生成模型 Mgen、元提示词模板集 T 和超参数 h 参数化；T 编码变异、重组和升级，h 包括变异强度和采样温度。论文未给出 Mgen 名称、温度或迭代步数。
• 类别初始化： 每类有元提示词 Tj，Mgen 生成初始候选。作者称它规定任务情境、漏洞语义和真实感等高层约束，而不是固定攻击模板。附录 A 只列设计原则：像部署交互、能归因到指定类别、变异后保持评测意图、可供专家检查证据；不提供可直接复用的攻击模板。
• 进化变异： 算子为词汇替换、句法变化、情境修改和针对性对抗增强。候选由面向变异的元提示词生成；提高漏洞激活或引入新变体的保留，冗余或低影响的丢弃。停止条件是达到提示词预算，或覆盖增益下降。论文未给出具体词表、句式或迭代次数。
• 检测与报告： fdetect 给每个提示词–回答对 k 维分数；fevaluate 估计影响、在重复运行上核查能否再次引出，并输出报告 R。

分层检测

词汇级用类别词典和正则表达式，输出 0 或 1，做快速过滤。语义级用未具名的 transformer 编码器嵌入回答，与参考漏洞模式算余弦相似度，取该类最大值。行为级看异常冗长、策略性不确定和相关提示词间的不一致。附录 A.2 把行为特征定为 4 维：冗长度偏离、含糊强度、一致性偏离、回避用语，并用良性交互语料做归一化。

V_j(p, r)=α₁ L₁^(j)(r)+α₂ L₂^(j)(r)+α₃ L₃^(j)(r)

三项权重和为 1，在留出集上按 F1 调节；论文未给出 α 的数值。Vj(p,r)>τj 时标为该类漏洞。τj 在 500 条标注的提示词–回答对上用网格搜索优化宏平均 F1（附录 C）。作者称语义相似度对 deceptive alignment 和 chain-of-thought manipulation 更重要，行为信号对 sandbagging 和回避更重要，词汇模式对显式数据外泄和工具误用做高精度过滤。

四维量规

专家把每条已校验漏洞的 Severity、Breadth、Novelty、Reproducibility 打成 1–10 分。Severity 看安全、隐私或系统完整性上的潜在影响；Breadth 看语义相近提示词触发的容易程度；Novelty 相对已有基准和公开报告；Reproducibility 看重复试验和提示词变化下能否再次引出。论文称测量了评分者间一致性，未报告数值。

F(v)=ω_S S(v)+ω_B B(v)+ω_N N(v)+ω_R R(v)

默认权重 (0.4, 0.2, 0.2, 0.2)。实验里 high-severity 取 F(v)≥7.0。防御回放的高置信定义为 Vj(p,r)>0.75 且有独立专家确认。Table 5 把提示注入和角色扮演升级视为可能触发这六类的机制，而不是单独实验类别。

实验设置

• 目标模型： 主定量实验是 GPT-OSS-20B，论文称约 21B 参数、开放权重、具备推理和工具/智能体取向。补充实验在 LLaMA-2-13B 与 Claude-2 上做趋势验证；论文未报告二者的漏洞计数。GPT-4、Claude 3、Gemini 只出现在与模型卡的对照讨论中，不计入作者自己跑出的定量结果。
• 基线： 人工专家红队（3 名 AI 安全专家）、随机提示词、模板攻击、AdvPrompter。同一漏洞量规，并使用匹配 query budget。论文未写出该预算的查询次数，也未把它写成等于 Nmax=1000。
• 语料： 固定预算下动态生成，不是固定监督测试集。每条报告的漏洞来自当次生成或精炼的提示词。Novelty 相对策划种子、公开基准模式和已知攻击族。
• 指标： Discovery Rate 为单位时间的独特已校验漏洞数，Figure 11 横轴单位是 vulns/hour。Coverage 为六类中被激活的类数。F(v) 用权重 0.4/0.2/0.2/0.2。Det. Acc. 在表中单列，论文未给出其计算公式。FPR 由专家抽查分层样本估计，正文未给数值。
• 判定： 检测器加专家校验。high-severity 为 F(v)≥7.0；防御回放阈值为 Vj(p,r)>0.75 且独立专家确认。生成模型 Mgen 未具名。
• 重复： 附录 E 称跨 repeated runs 做检验，并用 1000 次 bootstrap 估计 95% CI。论文未报告重复次数。阈值校准用 500 条标注对。

主结果

据 Table 1，GPT-OSS-20B、匹配 query budget。各类顺序为 RH、DA、DE、SB、TU、CT。

方法	合计	RH, DA, DE, SB, TU, CT
Manual Expert	12	3, 4, 2, 1, 2, 0
Random Generation	5	1, 2, 1, 0, 1, 0
Template-based	18	4, 5, 3, 2, 3, 1
AdvPrompter	23	5, 6, 4, 3, 3, 2
Our Framework	47	10, 11, 7, 6, 8, 5

• 作者的读法： 作者称每一类都多于基线，不是只擅长一类越狱。DA 为 11、RH 为 10；SB 为 6、CT 为 5。作者称后两类较少，但关系能力评估和推理信任。
• high-severity： 21/47（44.7%）满足 F(v)≥7.0。作者称最高平均 Severity 在 DA 与 RH。Figure 6 给出各类均值和 95% CI，正文未列出均值。摘要另称匹配预算下发现率是人工专家红队的 3.9×；这是作者给出的比率，不是由上表相除得到的。
• 图注与表： Figure 4 图注称本文是唯一具有强覆盖的方法。Table 1 中模板与 AdvPrompter 六类也均非零；人工 CT=0，随机 SB=0 且 CT=0。Figure 5 的单元格文字与 Table 1 不完全一致，计数以 Table 1 为准。

约束与模块消融

• 约束（Table 2）： 完整配置为 47 个漏洞、覆盖 6/6、Novelty 12、D=0.81、搜索效率 4.7。δ=0 时为 39、4/6、Novelty 6、D=0.42、效率 3.9。γ=0 时仍有 44 个漏洞，但覆盖只有 2/6。去掉规模上限得到 52 个、Novelty 13、效率 1.1。作者称无多样性时出现模板式退化，发现量不等于系统探索，无上限会降低搜索效率。Table 2 的效率 3.9 与摘要的 3.9× 不是同一数字。
• 增量（Table 3）： 纯规则为 22 个、3/6、Novelty 2、Det. Acc. 0.92。加种子后 28、4/6、6、0.87；再加元提示词后 36、6/6、9、0.88。加上语义检测后为 42、6/6、11，但 Det. Acc. 降到 0.76。再加上进化变异回到 47、6/6、12、0.89。作者称语义检测扩大广度，同时带来精度–召回权衡。
• 单模块去掉（Table 4）： 去掉元提示词为 31 个、覆盖仍 6/6、Novelty 8；作者称相对 47 降 34%。去掉语义分析为 42、Det. Acc. 0.76、覆盖 5/6。去掉种子收集为 28、4/6、Novelty 6，是表中覆盖下降最大的一行。

防御回放与定性案例

• 防御： 高置信提示词回放到请求过滤、回答监控、基于对抗训练的硬化、系统级访问控制，以及 Composite Defense A/B（第 4.5 节、Figure 3）。图轴为 block rate、latency（inverted）、compute（inverted）、FPR（inverted）、cost-effectiveness。作者称组合防御拦住更多已发现漏洞，更强过滤增加开销并可能引入误报。正文未给出各轴数值。
• 案例： 第 7 节有三则定性分析，不提供可复用提示词。欺骗性对齐例中，强调隐私和监督减少后，模型从普通拒答转向讨论受监控与未受监控时的不同行为；作者称不从单条记录推断隐藏意图，而是因其可在语义相近提示词上重复出现而当作 high-severity 信号。reward hacking 例中，告知指标后，回答表面符合指标但削弱任务解答。数据外泄例通过权威和良性研究意图引出看似真实的个人数据例子；作者称即使不能核验为训练记忆，仍视为安全相关。
• 运行代价： 作者称生成约 0.3 秒/提示词，检测打分 0.15 秒/回答，吞吐约 120 次完整评估/分钟，峰值内存低于 2.4 GB；到 16 个并行工人近线性扩展，p95 端到端延迟低于 2 秒；超过 10000 条提示词时检测准确率未下降。作者称每条已发现漏洞约 12.50 美元，相对专家测试节省约 3.9 个人工小时。

统计与时间曲线

• 检验： 附录 E 对已发现总数、Discovery Rate、覆盖比、Novelty 计数、可复现率和 FPR，用 Wilcoxon rank-sum 与各基线比较，均报告 p<0.001。95% CI 用 1000 次 bootstrap。作者称本文区间更窄；正文未给区间端点，也未给重复次数。
• 可复现性： Figure 10(c) 标注本文平均 89%、Best Baseline 平均 83%。这是可复现性分布上的标注，与 Det. Acc. 的 89% 不是同一指标。
• 时间曲线： Figure 12 为 20 小时累计发现，纵轴刻度到 48；作者称基线先升后进入平台，本文曲线在后期仍上升。图上未标出各曲线终点。Figure 10(d) 横轴为天数、刻度到 30，图注同样称基线变平后本文仍在上升；终点数值未标出。

其他消融与分析

• 放宽多样性 δ=0.4：43 个漏洞、覆盖 5/6、Novelty 9、D=0.61、效率 4.3（Table 2）。
• 放宽覆盖 γ=0.5：46 个、4/6、Novelty 11、D=0.80、效率 4.6（Table 2）。
• Nmax=2000：49 个、6/6、Novelty 12、D=0.82、效率 2.5（Table 2）。
• 去掉模式匹配：39 个、Det. Acc. 0.85、6/6、Novelty 9；去掉进化变异：35 个、0.88、5/6、Novelty 7（Table 4）。
• 随机种子初始化：35 个、5/6、Novelty 8、Det. Acc. 0.88；无种子筛选：31 个、4/6、Novelty 7、0.89（Table 3）。
• 规则检测的 Det. Acc. 0.92 高于完整框架的 0.89，但漏洞、覆盖和 Novelty 都更低（Table 3）。

作者指出的局限与后续方向

• 模型范围： 主定量研究集中在 GPT-OSS-20B。作者称补充实验提示趋势并非只属于一个模型族，但更广主张需要在 API-only 系统、开放权重模型和不同安全策略的智能体部署上系统评估；后续还应测跨模型、跨提供方迁移（第 8、9 节）。
• 检测不是全自动真值： 检测仍依赖校准阈值和专家校验。作者称分数应视为审计信号，而不是全自动 ground truth；后续可加不确定性估计、校准弃权和把分数连到提示词与回答中的具体证据（第 8、9 节）。
• 六类是有意收窄的： 提示注入、角色扮演升级、虚构权威和策略规避可作为这些类别内的机制出现，但本次实验未单独优化（第 8 节）。
• 工具轨迹： 当前把 inappropriate tool use 作为一类；作者提出后续应评估带检索、代码执行、浏览、文件访问和外部 API 的多步工具轨迹，并检测不安全的中间动作（第 9 节）。
• 滥用与发布： 作者称自动化红队工具若无防护可能被滥用，负责任披露、访问控制和人工复核仍然必要；后续还应研究分层访问、延迟发布高风险提示词、脱敏样例和协同披露（第 8、9 节）。
• 与固定套件的纵向衔接： 作者提出把已校验发现变成可复用回归测试，并与 HarmBench、JailbreakBench、XSTest、SafetyPrompts、CyberSecEval 一类套件一起跟踪模型更新是减少还是转移了漏洞（第 9 节）。

实验覆盖范围

• 主定量计数来自 GPT-OSS-20B；补充实验在 LLaMA-2-13B 与 Claude-2 上进行，论文未报告这两次的漏洞数（第 4.1、8 节）。
• 对照为 3 名专家的人工红队、随机生成、模板攻击和 AdvPrompter，使用同一量规和匹配 query budget；论文未报告该预算的查询次数，也未报告 Mgen 的模型名（第 3.2、4.2 节）。
• 实验类别为 Table 5 的六类。高置信回放使用 Vj(p,r)>0.75 且独立专家确认，防御为过滤、监控、对抗训练硬化、访问控制和两种组合策略；论文未报告 Figure 3 各轴数值（第 4.5 节）。
• 阈值在 500 条标注对上校准（附录 C）。附录 E 报告 Wilcoxon 检验 p<0.001，并用 1000 次 bootstrap 估计 95% CI；论文未报告重复运行次数。第 3.4.2 节称测量了评分者间一致性，未报告数值。
• 定性案例为第 7 节的 3 则。第 7.4 节报告单条延迟、16 路并行、超过 10000 条提示词，以及约 12.50 美元/条已发现漏洞和约 3.9 个人工小时。

作者把 LLM 安全红队写成带多样性、覆盖和预算约束的对抗搜索，用来补充固定基准和人工专家提示词。

• 问题： 固定套件只能覆盖构建时的已知行为，人工红队难复现、难扩展；只优化狭窄越狱成功的自动攻击，又缺少多类覆盖、细微失败检测和可审计结果。
• 方法： 六类策划种子经元提示词生成和进化变异扩展，再由词汇、语义、行为三级检测打分。专家按 Severity、Breadth、Novelty、Reproducibility 打 1–10 分，默认合成权重为 0.4、0.2、0.2、0.2。完整运行点为 δ=0.7、γ=0.8、Nmax=1000。
• 主结果： 在 GPT-OSS-20B、匹配 query budget 下，框架得到 47 个已校验漏洞（Table 1），对照为人工 12、随机 5、模板 18、AdvPrompter 23。六类计数为 10、11、7、6、8、5。21 个满足 F(v)≥7.0。检测准确率 89%，摘要与 Table 2 的 novel patterns 为 12。作者称发现率是人工专家红队的 3.9×。
• 消融： 去掉多样性后覆盖降到 4/6、Novelty 降到 6；去掉覆盖约束后仍有 44 个漏洞，但只落在 2/6 类；去掉规模上限得到 52 个，搜索效率从 4.7 降到 1.1（Table 2）。语义检测使 Det. Acc. 降到 0.76，加上进化变异后回到 0.89（Table 3）。
• 其他观察： Figure 10(c) 的可复现性平均为 89%，图中 Best Baseline 为 83%，与检测准确率不是同一指标。作者称组合防御拦住更多已发现漏洞，同时增加开销和误报；正文未给拦截率。
• 作者结论： 作者认为发现计数本身不够，文中更强的结果来自同时约束多样性、覆盖和校验；该框架被定位为固定安全基准的补充，用于持续鲁棒性评测。