Attack Atlas:从业者视角下生成式 AI 红队测试的挑战与陷阱
Attack Atlas: A Practitioner's Perspective on Challenges and Pitfalls in Red Teaming GenAI
作者从实践者视角梳理 GenAI 红蓝队挑战,提出单轮提示词攻击分类法 Attack Atlas,并评测 5 种护栏在 19 个数据集上的 TPR/FPR。
- GenAI 红蓝队缺乏面向实践者的指导:学术综述多刻画风险,但真实环境中如何评估和缓解提示词注入与越狱、如何开发和评测防御,仍缺少可操作的框架。
- 作者以行业视角梳理红队与蓝队的开放问题,提出 Attack Atlas——按提示词的语法、形式与语义把单轮输入攻击分为 5 大类约 40 个子类,并在 19 个数据集上基准评测 5 种护栏的 TPR/FPR。
- 护栏评测显示性能随数据集攻击类型差异很大:Vicuna-7b 的 TPR 从 jailbreak prompts 的 0.24 到 harmful behaviours 的 0.97;微调 BERT 在分布外数据集上仍有竞争力,但在 xstest 边界样本上 FPR 更高(0.29)。
- 作者指出 Attack Atlas 只覆盖单轮攻击,多轮与多模态攻击留待后续;评测因算力限制每数据集仅子采样 200 条;作者认为现有基准只覆盖可能输入变化的一小部分,开放式严格基准仍困难。
- 威胁模型
- 论文讨论单轮提示词攻击:jailbreak(绕过 LLM 全部安全措施与对齐)、direct injection(用户提示词中的指令覆盖系统提示词)与 indirect injection(指令经网站等外部数据间接进入 RAG 等集成应用);红队实践者常面临 black-box 场景。
- 被测模型
- BERTSmoothLLMVicuna-7bAzure AI C.S.Llama-Guard 2
- 基准
- aartattaqdo not answergandalf_ignore_instructionsGCGharmful_behavioursjailbreak promptssaptapxstesttoxicchatmalicious_instructalpacaawesome_chatgpt_promptsboolqno robotspuffinsuper_natural_instructionsultrachat
- 指标
- True Positive rate (TPr)False Positive rate (FPr)cosine similarity
论文提出 Attack Atlas 框架,为从业者提供分析生成式 AI 单轮输入攻击的实用方法。作者指出,随着大语言模型进入生产应用,自然语言与多模态系统出现新的攻击面,而面向真实环境、供从业者评估和缓解这些挑战的指导仍然有限。论文梳理了保护生成式 AI 的红队与蓝队策略,识别防御开发与评估中的关键挑战和开放问题,旨在弥合学术研究与实际安全措施之间的差距。
深度解读
这篇论文试图解决什么问题?
GenAI 红蓝队缺乏面向实践者的指导,作者提出挑战清单与单轮攻击分类法 Attack Atlas。
核心问题:学术界对 GenAI 对抗风险的刻画与真实环境中实践者评估、缓解这些风险所需的可操作指导之间存在缺口。
- 场景与重要性:随着 LLM 进入生产应用,自然语言与多模态系统出现新的攻击面;作者指出这类威胁的特点是攻击门槛低(只需键盘和人的创造力),且 LLM 无法区分输入提示词中系统提供与用户提供的部分。
- 现有工作的不足:作者称已有学术综述刻画了 GenAI 的对抗风险,但缺少面向实践者的指导来理解和量化风险、应对常见威胁、选择或开发合适的防御。
- 核心观察:作者认为红队与蓝队实践已走到分岔点——学术研究关注精巧的攻击与防御,而实践者更关心在预算受限环境下防御低成本、高可能性、高严重度的攻击。
- 论文的贡献:一是从实践者视角审视红队与蓝队策略并与传统对抗机器学习对比;二是列出防御开发、评测方法与基准方面的开放问题与挑战;三是提出 Attack Atlas,一个按攻击风格组织的单轮输入攻击分类法(Figure 1)。
- 威胁模型(论文讨论的攻击类型,Section 2):
- Jailbreak:绕过 LLM 包括对齐在内的全部安全措施,使其生成不安全或未对齐的输出。
- Direct Injection:用户提示词中直接包含指令,覆盖系统提示词定义的任务,不一定需要绕过安全措施。
- Indirect Injection:指令经网站、源代码、其他 LLM 的输出等数据间接进入 RAG 等集成应用。
- 攻击者知识:作者指出实践中红队常面临 black-box 场景,限制了可用工具。
有哪些相关研究?
相关工作分四组:GenAI 风险综述、自动化红队方法、护栏与防御、现有基准与数据集。
GenAI 风险综述与分类
- 学术综述 [5, 43, 62, 65]——刻画 GenAI 的对抗风险;作者指出它们缺少面向实践者的指导。
- 误用与风险视角的分类 [69, 57, 72]——从前沿模型的误用风险(偏见、有毒数据生成等)刻画威胁;作者指出 RAG 等复杂工作流中的拒绝服务、SQL 注入等恶意目标常在这类刻画中缺失。
- 传统对抗机器学习——关注 evasion [8]、poisoning [9]、inference [23]、extraction [20],以图像等领域有界扰动和误分类等明确结果为主;作者指出 GenAI 的输入输出空间更大、不良结果更主观且依赖上下文。
自动化红队方法
- GCG [80]、TAP [40]、PAIR [11]、AutoDAN [36] 与工具 PyRIT [6]——自动合成攻击向量;作者指出它们在资源需求、攻击类型覆盖上各异,生成的攻击不一定可迁移,且产物受目标模型、种子数据和 LLM 组件 priming 等上下文因素影响。
- Samvelyan et al. [53](Rainbow Teaming)——在攻击风格与危害类别的矩阵中引导攻击以保证覆盖;作者指出其受限于给定的攻击风格与危害类别。
- Apruzzese et al. [3]——指出真实攻击者侧重简单、廉价、高严重度的攻击,而非学术式的复杂攻击。
护栏与防御
- 输入护栏的多种形态:基于分数的过滤(如 perplexity [27])、相似度检测、ML 分类器 [26, 1]、上下文学习 [63]、probing [50, 49, 14] 与解码技术 [24],在规模、延迟、吞吐和性能上各异。
- 作者指出当前护栏通常用一个 one-size-fits-all 模型防御所有攻击类型 [26],无法捕捉不同威胁的差异;并指出 ML 方法用于审查 LLM 输入输出可能存在根本局限 [19]。
基准与数据集
- 安全数据集目录 [52, 64] 与 JailbreakBench [12]、HarmBench [39]、EasyJailbreak [78] 等基准;作者指出现有基准评测范围窄,[12] 只含几百条样本。
- 作者自己的护栏评测(Table 1、Table 2)使用 19 个数据集(Table 4 列出),被测护栏为 BERT(微调)、SmoothLLM、Vicuna-7b、Azure AI Content Safety、Llama-Guard 2。
作者将本文定位为:以行业视角补充学术综述,用 Attack Atlas 统一单轮输入攻击的刻画,作为实践者搭建红蓝队操作的起点。
论文如何解决这个问题?
以实践者视角梳理红蓝队开放问题,提出按攻击风格组织的单轮攻击分类法 Attack Atlas,并做护栏基准评测。
论文由三部分组成:红队与蓝队的开放问题分析、Attack Atlas 单轮攻击分类法、以及一组护栏基准评测。
红队开放问题(Section 2.1)
- 范围与用途:攻击目标依赖部署上下文、组织政策与法规;作者指出多数红队工作只用 AdvBench 中有限的有害目标,往往少至 50 条样本 [80, 13],简单改写即可提升攻击成功率 [64]。
- 自动化与扩展:作者指出自动化工具(GCG、TAP、PAIR、AutoDAN、PyRIT)的攻击向量受目标模型与上下文影响,模型更新即可大幅降低 ASR;PAIR、TAP 存在多样性不足与偏离目标的问题。
- 评测策略:作者指出学术红队以单一攻击成功或最大化 ASR 为目标,与评估真实伤害不一致;关键词检测可能有高假阳与假阴率 [34],LLM-as-a-judge 也有局限 [77, 34]。
蓝队开放问题(Section 3.1)
- 护栏范围:作者认为防御需拦截攻击意图而不仅是成功的攻击;护栏策略应基于应用预期的典型攻击行为。
- 护栏构建:作者主张针对不同攻击类型定制护栏,并先明确功能需求(可允许输入的边界、充分采样)与非功能需求(上下文长度、延迟、吞吐、内存);指出部分攻击可用约 100M 参数的 encoder-only 模型处理。
- 护栏评测:作者强调保护与效用的权衡,需用良性提示词测试护栏,并对 ML 分类器做分布外样本与过度安全(exaggerated safety)评估。
Attack Atlas 分类法(Section 4)
- 分类依据:只按提示词的语法、形式与语义(表面特征与底层意图)分类,不以提示词来源(合成或人工)或隐含危害为依据;只覆盖单轮攻击。
- 五大类(Figure 1、Table 5):Direct Instructions、Encoded Interactions、Social Hacking、Context Overload、Specialized Tokens,细分为约 40 个子类(如 Payload-Splitting、N-shot、Role-playing Scenario、Token Smuggling);攻击者可混合使用多类(Mixed Technique)。
- 动机:作者报告数据集之间余弦相似度低(Figure 4)、数据集内部相似度高(Figure 2b),按攻击风格分组后组内相似度提升(Figure 2a),作者据此认为按攻击风格统一刻画是有用的。
护栏基准评测流程(Section 3.1.3)
- 流程:在 19 个数据集上评测;将 BERT 在每个数据集的 60% 上微调、20% 验证、20% 测试;因算力限制,每个数据集子采样 200 条提示词实例用于评测。
- 被测对象:三个 general purpose 检测器(SmoothLLM、Vicuna-7b、Azure AI Content Safety、Llama-Guard 2,论文称"三个"但表中列出四个)与微调的 BERT;toxicchat 与 malicious_instruct 作为 BERT 未训练过的分布外数据集。
- 指标:攻击数据集上的 True Positive rate(Table 1)与良性数据集上的 False Positive rate(Table 2)。
论文做了哪些实验?
在 19 个数据集上评测 5 种护栏的 TPR/FPR,并用余弦相似度分析数据集间与数据集内的差异。
实验设置
- 被测护栏:微调 BERT、SmoothLLM、Vicuna-7b、Azure AI Content Safety(表中简称 Azure AI C.S.)、Llama-Guard 2(Table 1、Table 2)。
- 数据集:共 19 个(Table 4),其中 12 个攻击/越狱数据集(aart、attaq、do not answer、gandalf_ignore_instructions、GCG、harmful_behaviours、jailbreak prompts、sap、tap、xstest、toxicchat、malicious_instruct)和 7 个良性数据集(alpaca、awesome_chatgpt_prompts、boolq、no robots、puffin、super_natural_instructions、ultrachat,另 xstest 含良性样本)。
- 评测流程:BERT 按 60% 训练 / 20% 验证 / 20% 测试划分微调;因算力限制每个数据集子采样 200 条提示词实例用于评测;toxicchat 与 malicious_instruct 对 BERT 为分布外数据。
- 指标:攻击数据集报 True Positive rate(Table 1),良性数据集报 False Positive rate(Table 2);相似度分析用余弦相似度(Figure 2、3、4)。
- 评审方式与重复次数:论文未报告判定攻击成功的具体评审模型或阈值,也未报告重复次数。
主结果
据 Table 1(攻击数据集 TPR)与 Table 2(良性数据集 FPR),节选部分数据集:
表格较宽,可左右滑动
护栏 GCG (TPR) jailbreak prompts (TPR) harmful behaviours (TPR) toxicchat (TPR, OOD) xstest (FPR) boolq (FPR) BERT 0.99 0.82 0.92 0.71 0.29 0.00 SmoothLLM 0.81 0.29 0.98 0.47 0.17 0.39 Vicuna-7b 0.01 0.24 0.97 0.34 0.03 0.05 Azure AI C.S. 0.00 0.79 0.01 0.56 0.00 0.00 Llama-Guard 2 0.84 0.03 0.98 0.15 0.00 0.01 - 作者指出防御性能随数据集攻击类型差异很大,说明评测需要广度:如 Vicuna-7b 的 TPR 从 jailbreak prompts 的 0.24 到 harmful behaviours 的 0.97。
- 作者指出 BERT 这类专用分类器即使在分布外数据集上也有有竞争力的表现,且比 LLM 类护栏更轻量;但它在 xstest 上 FPR 更高,作者认为 xstest 专门检查边界案例,大模型因预训练更充分而处理得更好。
- Azure AI C.S. 在 aart、attaq、do not answer、GCG、sap、malicious_instruct 上 TPR 为 0.00,但在 gandalf_ignore_instructions 上为 0.87、jailbreak prompts 上为 0.79(Table 1)。
数据集相似度分析
- 测了什么:用余弦相似度衡量提示词集合之间与内部的相似性(Figure 2、3、4)。
- 结果:Figure 4 显示标准文献数据集之间相似度低(多数值在 0.00–0.20 之间,少数如 jailbreakchat 与 chatgpt_dan 为 0.42);Figure 2b 显示数据集内部相似度更高(各数据集 median 多在 0.10–0.30 区间);Figure 2a 显示按 Attack Atlas 类别合并后组内相似度提升。
- 作者解读:数据集彼此差异大、内部相似,说明按攻击风格(Attack Atlas)统一刻画攻击是有用的;附录 A.1 称这支持用 Attack Atlas 的视角看待这些数据集。
其他消融与分析
- 论文未报告其他消融实验;Table 4 给出 19 个数据集到 Attack Atlas 类别的映射,Table 5 给出各类攻击的定义与参考数据集。
- 负面结果:作者指出 PAIR、TAP 等自动化红队方法存在攻击多样性不足与偏离目标的问题(Section 2.1.2,引自文献而非本文实验)。
有什么可以进一步探索的点?
作者指出分类法仅覆盖单轮攻击、需扩展到多轮与多模态;评测受算力限制每数据集仅 200 条。
作者指出的局限与后续方向
- 仅覆盖单轮攻击:Attack Atlas 只刻画单轮攻击策略,作者称多轮 [31, 42] 与多模态提示词攻击应纳入以扩展攻击战术的维度(Section 4.1)。
- 基准覆盖有限:作者指出尽管攻击数据集数量在增长,仍只覆盖可能输入变化与扰动的一小部分;NLP 领域缺少类似 PGD 的有效优化过程来搜索越狱变体,输入也不受 Lp 球式约束,开放式严格基准因此困难,应聚焦高可能性、高严重度的具体攻击(Section 3.1.3)。
- 评测方法未系统化:作者指出可扩展、可定制的攻击成功度量(如拒答检测、内容审核)仍缺乏系统化与基准,且需按攻击目标适配(Section 2.1.3)。
- 威胁模型需落地:作者建议 GenAI 威胁模型应基于真实发生的攻击,工具与基准应转向由真实攻击与资源约束启发(Section 5)。
- 分类法将演化:作者指出随着新攻击与防御出现,威胁分类会演化,护栏策略应基于应用预期的典型攻击行为(Section 3.1.1)。
实验覆盖范围
- 被测护栏为 BERT(微调)、SmoothLLM、Vicuna-7b、Azure AI Content Safety、Llama-Guard 2,共 5 个(Table 1、Table 2)。
- 评测使用 19 个数据集:12 个攻击/越狱类、7 个良性类,另 xstest 同时含攻击与良性样本(Table 4)。
- 因算力限制,每个数据集子采样 200 条提示词实例用于评测;BERT 按 60%/20%/20% 划分训练、验证、测试(Section 3.1.3)。
- 论文未报告判定攻击成功的评审模型或阈值、重复次数,也未报告各护栏的延迟或吞吐实测数据。
- 相似度分析覆盖 Figure 4 中列出的 23 个数据集(含评测未使用的 chatgpt_dan、deepset_prompt_injection、dolly、human_preferences、jailbreakchat、orca、piqa、production_jailbreak、prompt_extraction、prompt_injection_purple_llama 等)。
总结一下论文的主要内容
实践者视角的 GenAI 红蓝队挑战分析,附单轮攻击分类法 Attack Atlas 与 5 种护栏在 19 个数据集上的评测。
一篇来自 IBM Research 等的实践者视角论文,讨论 GenAI 红队与蓝队在真实部署中的挑战,并提出单轮提示词攻击分类法 Attack Atlas。
- 问题:作者称学术综述刻画了 GenAI 对抗风险,但缺少面向实践者的指导;学术红队追求精巧攻击与高 ASR,而实践者需要在预算受限下防御低成本、高可能性、高严重度的攻击。
- 红队挑战:攻击目标依赖部署上下文;自动化工具(GCG、TAP、PAIR 等)的攻击向量对目标模型与上下文敏感、多样性不足;攻击成功的定义与度量(关键词检测、LLM-as-a-judge)缺乏一致标准。
- 蓝队挑战:作者认为 one-size-fits-all 的护栏不现实,应按攻击类型定制,先明确功能与非功能需求,并用良性提示词与分布外样本测试保护与效用的权衡。
- Attack Atlas:按提示词的语法、形式与语义把单轮攻击分为 Direct Instructions、Encoded Interactions、Social Hacking、Context Overload、Specialized Tokens 五大类约 40 个子类(Figure 1、Table 5);作者报告数据集间余弦相似度低、内部相似度高,按攻击风格分组后组内相似度提升(Figure 2、4)。
- 护栏评测:在 19 个数据集(每集子采样 200 条)上评测 5 种护栏;防御性能随攻击类型差异大,如 Vicuna-7b 的 TPR 从 jailbreak prompts 的 0.24 到 harmful behaviours 的 0.97(Table 1);微调 BERT 在分布外数据集上仍有竞争力且更轻量,但在 xstest 良性边界样本上 FPR 达 0.29(Table 2)。
- 作者结论:GenAI 威胁模型应基于真实发生的攻击,误用/安全分类应补充安全视角的攻击分类;Attack Atlas 旨在为社区提供统一的起点。
相关论文
共同使用 tap
共同使用 aart
共同使用 puffin
再看 3 篇
共同使用 super_natural_instructions